記一次python網頁爬取中正則表達式的使用
warkiz
/
2481人閱讀
摘要:昨日幫同學爬取一個網頁,大概有多頁,還好爬取的內容都很固定,類似于以下這種遍歷所有頁面,使用方法獲取頁面所有的匹配項,然后寫入文件即可。
昨日幫同學爬取一個網頁,大概有400多頁,還好爬取的內容都很固定,類似于以下這種:
(.*)
|
(.*)
|
(.*)
|
(.*)
|
(.*)
|
(.*)
|
(.*)
|
遍歷所有頁面,使用re.findall方法獲取頁面所有的匹配項,然后寫入excel文件即可。
腳本跑完之后,發現excel的條數比網頁上的少幾個,懷疑某些條目不符合此正則表達式,于是修改腳本,加上調試語句,重新跑一次,進行逐頁分析。
發現大部分頁面都是20條,但是在61頁的時候只有18條。打開瀏覽器直接訪問第61頁,發現是有20條的,而且每一條的格式完全一致,因此確認對于某些符合格式的內容原正則可能匹配不到。
找到未匹配到的條目:
1300200900007
|
俄羅斯聯邦
|
中太建設集團股份有限公司
|
中太建設集團(俄羅斯)股份有限公司
|
河北省
|
1、工程施工
2、國際貿易
|
2009-05-22
|
原來內容里含有換行符,而.號不能匹配到換行符,嘗試修改(.*)為([
.]*),無果。
查閱網絡,推薦的用法是([sS]*),s表示任意空白符,大寫的S表示反義匹配,即任意非空白符,組合在一起即是所有字符,([dD]*)等同理也是一樣的效果。
修改正則為推薦用法,嘗試替換,結果卻和我們期望的不一致:整個頁面只能匹配到一條!
如果是正確答案,應該是匹配到20條,完全錯誤的答案應該匹配不到,只能匹配到換行符內容也應該有2條,為什么會出現一條的情況呢?
我們打印出匹配內容看看便知:
("1300200900008", "xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6", "xe6xb2xb3xe5x8cx97xe4xb8xadxe4xb9x8bxe6xb4xa5xe7x9fxbfxe4xb8x9axe6x8ax95xe8xb5x84xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8", "xe6xb2xb3xe5x8cx97xe4xb8xadxe4xb9x8bxe6xb4xa5xe7x9fxbfxe4xb8x9axe6x8ax95xe8xb5x84xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe5x8ax9exe4xbax8bxe5xa4x84", "xe6xb2xb3xe5x8cx97xe7x9cx81", "xe5x8ax9exe7x90x86xe5xaex9exe6x96xbdxe5x85xacxe5x8fxb8xe4xb8x8exe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6Gothward Trading PVT LTDxe5x90x88xe4xbdx9cxe5xbcx80xe7x9fxbfxe7x9ax84xe5x85xb7xe4xbdx93xe4xbax8bxe9xa1xb9xefxbcx8cxe5x81x9axe5xa5xbdxe5x9cxa8xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe5x85xb3xe8xbexbexe7x9fxbfxe5x8cxbaxe9x87x91xe7x9fxbfxe5x8bx98xe6x8exa2xe3x80x81xe5xbcx80xe9x87x87xe7x9ax84xe5x89x8dxe6x9cx9fxe5x87x86xe5xa4x87xe5xb7xa5xe4xbdx9cxe3x80x82
2009-11-03
|
1300200900007
|
xe4xbfx84xe7xbdx97xe6x96xafxe8x81x94xe9x82xa6
|
xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xefxbcx88xe4xbfx84xe7xbdx97xe6x96xafxefxbcx89xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
1xe3x80x81xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5
2xe3x80x81xe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93
|
2009-05-22
|
1300200900007
|
xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6
|
xe7xa7xa6xe7x9ax87xe5xb2x9bxe5xb8x82xe6x98x8axe9x9ax86xe8xb4xb8xe6x98x93xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe7xa7xa6xe7x9ax87xe5xb2x9bxe5xb8x82xe6x98x8axe9x9ax86xe8xb4xb8xe6x98x93xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe5x8ax9exe4xbax8bxe5xa4x84
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe4xbex9dxe6x89x98xe8xb5x84xe6xbax90xe5xafxb9xe5xa4x96xe5xbcx80xe5xb1x95xe7x9fxbfxe4xbaxa7xe5x90x88xe4xbdx9cxe3x80x81xe5xbcx80xe5x8fx91xefxbcx8cxe4xbax86xe8xa7xa3xe6xb4xa5xe5xb7xb4xe5xb8x83xe9x9fxa6xe6x94xbfxe7xadx96xe3x80x81xe6xb3x95xe8xa7x84xefxbcx8cxe5x81x9axe5xa5xbdxe6x8ax95xe8xb5x84xe5x90x88xe4xbdx9cxe7x9ax84xe5x89x8dxe6x9cx9fxe5x87x86xe5xa4x87xe5xb7xa5xe4xbdx9c
|
2009-10-21
|
1300200900006
|
xe5x88xa9xe6xafx94xe4xbax9a
|
xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe4xb8xadxe5xa4xaaxe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xefxbcx88xe5x88xa9xe6xafx94xe4xbax9axefxbcx89xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
1xe3x80x81xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5
2xe3x80x81xe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93
|
2009-05-22
|
1300200900006
|
xe7xbex8exe5x9bxbd
|
xe7x9fxb3xe5xaexb6xe5xbax84xe5xbcx80xe5x8fx91xe5x8cxbaxe8xbexbexe4xb8xbaxe5x8cxbbxe8x8dxafxe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe7x9fxb3xe5xaexb6xe5xbax84xe5xbcx80xe5x8fx91xe5x8cxbaxe8xbexbexe4xb8xbaxe5x8cxbbxe8x8dxafxe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe7xbex8exe5x9bxbdxe5x8ax9exe4xbax8bxe5xa4x84
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe4xb8xbbxe8xa6x81xe8xb4x9fxe8xb4xa3xe6x90x9cxe9x9bx86xe4xbfxa1xe6x81xafxefxbcx8cxe4xbexbfxe4xbax8exe5xaexa2xe6x88xb7xe6xb2x9fxe9x80x9axe8x81x94xe7xb3xbbxefxbcx8cxe4xb8xbaxe4xbcx81xe4xb8x9axe7xbbx8fxe8x90xa5xe7x94x9fxe4xbaxa7xe6x8fx90xe4xbex9bxe4xbfxa1xe6x81xafxe5x92x8cxe4xbex9dxe6x8dxae
|
2009-09-18
|
1300200900005
|
xe5x90x89xe5xb0x94xe5x90x89xe6x96xafxe6x96xafxe5x9dxa6
|
xe5xbbx8axe5x9dx8axe5xbcx80xe5x8fx91xe5x8cxbaxe5x90x89xe6x8cxafxe7xbaxa2xe7x94x9fxe7x89xa9xe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5xbbx8axe5x9dx8axe5xbcx80xe5x8fx91xe5x8cxbaxe5x90x89xe6x8cxafxe7xbaxa2xe7x94x9fxe7x89xa9xe7xa7x91xe6x8ax80xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe9xa9xbbxe5x90x89xe5xb0x94xe5x90x89xe6x96xafxe6x96xafxe5x9dxa6xe5x8ax9exe4xbax8bxe5xa4x84
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe4xbbx80xe6x8bx89xe9x87x8cxe5xbex81xe9x87x91xe3x80x81xe9x93x9cxe7x9fxbfxe7x9ax84xe7xadxb9xe5xa4x87xe3x80x81xe5xb8x82xe5x9cxbaxe8xb0x83xe7xa0x94xe3x80x82
|
2009-08-12
|
1300200900004
|
xe8x80x81xe6x8cx9d
|
xe9x82xafxe9x83xb8xe5x86x80xe8xbexbexe5x88xb6xe9x93x81xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe9x82xafxe9x83xb8xe5x86x80xe8xbexbexe5x88xb6xe9x93x81xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe8x80x81xe6x8cx9dxe5x8ax9exe4xbax8bxe5xa4x84
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe5x8ax9exe4xbax8bxe6x9cxbaxe6x9ex84
|
2009-07-06
|
1999-000136
|
xe8x92x99xe5x8fxa4
|
xe6xb2xb3xe5x8cx97xe7x9cx81xe5x9bxbdxe9x99x85xe4xbex9bxe9x94x80xe5x90x88xe4xbdx9cxe6x80xbbxe5x85xacxe5x8fxb8
|
xe6xb1x97xe6x89x98xe6x8bx89xe5xbcx80xe5x8fxb8xe7xb1xb3xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe5xb1xb1xe7xbex8axe7xbbx92xe5x8axa0xe5xb7xa5
|
1999-08-16
|
1300200900025
|
xe6x96xb0xe8xa5xbfxe5x85xb0
|
xe5xbbx8axe5x9dx8axe4xb8x89xe5x88xa9xe6x9cxa8xe4xb8x9axe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe4xb8x89xe5x88xa9xefxbcx88xe6x96xb0xe8xa5xbfxe5x85xb0xefxbcx89xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe6x9ex97xe4xb8x9axe5xbcx80xe5x8fx91xe3x80x81xe6x9cxa8xe6x9dx90xe5x8axa0xe5xb7xa5xe3x80x81xe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93
|
2009-08-05
|
1300200900024
|
xe5xbexb7xe5x9bxbd
|
xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xefxbcx88xe5xbexb7xe5x9bxbdxefxbcx89xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe6x99xb6xe4xbdx93xe7xa1x85xe5xa4xaaxe9x98xb3xe8x83xbdxe7x94xb5xe6xb1xa0xe7xbbx84xe4xbbxb6xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xaexefxbcx9bxe5xa4xaaxe9x98xb3xe8x83xbdxe5x85x89xe4xbcx8fxe7x94xb5xe7xabx99xe8xaexbexe5xa4x87xe5x8fx8axe7x94xb5xe7x83xadxe7xb3xbbxe7xbbx9fxe8xaexbexe5xa4x87xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xae
|
2009-08-05
|
1300200900020
|
xe9x9fxa9xe5x9bxbd
|
xe7xa7xa6xe7x9ax87xe5xb2x9bxe5x8cx97xe6x96xb9xe8x88xb9xe8x88xb6xe6x9cxbaxe6xa2xb0xe8xbfx9bxe5x87xbaxe5x8fxa3xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe4xb8x9cxe5x92x8cxe6x9cxbaxe6xa2xb0xe8xbfx9bxe5x87xbaxe5x8fxa3xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe8x87xaaxe8x90xa5xe5x92x8cxe4xbbxa3xe7x90x86xe5x90x84xe7xb1xbbxe5x95x86xe5x93x81xe5x8fx8axe6x8ax80xe6x9cxafxe7x9ax84xe8xbfx9bxe5x87xbaxe5x8fxa3xe4xb8x9axe5x8axa1xefxbcx88xe5x9bxbdxe5xaexb6xe9x99x90xe5xaex9axe5x85xacxe5x8fxb8xe7xbbx8fxe8x90xa5xe6x88x96xe7xa6x81xe6xadxa2xe8xbfx9bxe5x87xbaxe5x8fxa3xe5x9cxb0xe5x95x86xe5x93x81xe5x92x8cxe6x8ax80xe6x9cxafxe9x99xa4xe5xa4x96xefxbcx89xefxbcx9axe8x88xb9xe7x94xa8xe6x9cxbaxe6xa2xb0xe8xaexbexe5xa4x87xe5x8fx8axe9x85x8dxe4xbbxb6xe7x9ax84xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xae
|
2009-07-23
|
1300200900019
|
xe6xb3x95xe5x9bxbd
|
xe5xa4xa7xe5x9fx8exe5x8exbfxe5xbcx98xe4xbax9axe5x86x8dxe7x94x9fxe8xb5x84xe6xbax90xe5x88xa9xe7x94xa8xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb3x95xe5x9bxbdxe5xa4xa9xe9xbex99xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe5xbax9fxe6x97xa7xe6x9cx89xe8x89xb2xe9x87x91xe5xb1x9exe5x8axa0xe5xb7xa5,xe9x94x80xe5x94xaexefxbcx8cxe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93xe3x80x82
|
2009-07-21
|
1300200900016
|
xe6x9cx9dxe9xb2x9c
|
xe6xb2xb3xe5x8cx97xe5xaex87xe5xbaxb7xe7xbaxbaxe7xbbx87xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6x9cx9dxe9x98xb3xe7xbaxbaxe7xbbx87xe5x90x88xe8x90xa5xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe7x94x9fxe4xbaxa7xe9x94x80xe5x94xaexe6xafx9bxe5xb7xbexe3x80x81xe6xafx9bxe5xb7xbexe8xa2xabxe3x80x81xe9xa4x90xe5xb7xbexe3x80x81xe6xb5xb4xe5xb7xbexe3x80x81xe6x9ex95xe5xb7xbexe7xadx89xe7xbaxbaxe7xbbx87xe5x93x81
|
2009-06-17
|
1300200900015
|
xe9x9fxa9xe5x9bxbd
|
xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5xb7xa8xe5x8ax9bxe6x96xb0xe8x83xbdxe6xbax90xefxbcx88xe9x9fxa9xe5x9bxbdxefxbcx89xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe6x99xb6xe4xbdx93xe7xa1x85xe5xa4xaaxe9x98xb3xe8x83xbdxe7x94xb5xe6xb1xa0xe7xbbx84xe4xbbxb6xe7x9ax84xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xaexefxbcx9bxe5xa4xaaxe9x98xb3xe8x83xbdxe5x85x89xe4xbcx8fxe7x94xb5xe7xabx99xe8xaexbexe5xa4x87xe5x8fx8axe7x94xb5xe7x83xadxe7xb3xbbxe7xbbx9fxe8xaexbexe5xa4x87xe7x94x9fxe4xbaxa7xe3x80x81xe9x94x80xe5x94xae
|
2009-06-16
|
1300200900013
|
xe7xbex8exe5x9bxbd
|
xe5x8dx9axe6xb7xb1xe5xb7xa5xe5x85xb7xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5x8dx9axe6xb7xb1xe7xbex8exe5x9bxbdxe6x9cx89xe9x99x90xe8xb4xa3xe4xbbxbbxe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe9x87x91xe5x88x9axe7x9fxb3xe5xb7xa5xe5x85xb7xe3x80x81xe5x90x88xe9x87x91xe5xb7xa5xe5x85xb7xe3x80x81xe7x94xb5xe5x8axa8xe5xb7xa5xe5x85xb7xe7x9ax84xe7x94x9fxe4xbaxa7xe3x80x81xe7xbbx84xe8xa3x85xe5x92x8cxe9x94x80xe5x94xaexefxbcx8cxe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93xe3x80x82
|
2009-06-11
|
1300200900011
|
xe5xa1x9exe5x86x85xe5x8axa0xe5xb0x94
|
xe5x8dx8exe9x83xbdxe5x9bxbdxe9x99x85xe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5x8dx8exe5xa1x9exe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe6x89xbfxe5x8cx85xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5xe5x92x8cxe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93
|
2009-06-10
|
1300200900010
|
xe8x92x99xe5x8fxa4
|
xe5x8dx8exe9x83xbdxe5x9bxbdxe9x99x85xe5xbbxbaxe8xaexbexe9x9bx86xe5x9bxa2xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5x8dx8exe7xa1x95xe7xbdxaexe4xb8x9axe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe6x88xbfxe5x9cxb0xe4xbaxa7xe5xbcx80xe5x8fx91xe3x80x81xe6x89xbfxe5x8cx85xe5xb7xa5xe7xa8x8bxe6x96xbdxe5xb7xa5xe5x8fx8axe5x9bxbdxe9x99x85xe8xb4xb8xe6x98x93
|
2009-06-10
|
1300200900003
|
xe9x98xbfxe6x8bx89xe4xbcxafxe8x81x94xe5x90x88xe9x85x8bxe9x95xbfxe5x9bxbd
|
xe5xbbx8axe5x9dx8axe5xb8x82xe7xaexa1xe9x81x93xe4xbaxbaxe6x9cxbaxe6xa2xb0xe8xaexbexe5xa4x87xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5xbbx8axe5x9dx8axe5xb8x82xe7xaexa1xe9x81x93xe4xbaxbaxe6x9cxbaxe6xa2xb0xe8xaexbexe5xa4x87xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8xe9xa9xbbxe4xb8xadxe4xb8x9cxe5x8ax9exe4xbax8bxe5xa4x84
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe6x94xb6xe9x9bx86xe7x9bxb8xe5x85xb3xe4xbfxa1xe6x81xafxefxbcx8cxe4xbaxa7xe5x93x81xe7x9ax84xe5x94xaexe5x90x8exe6x9cx8dxe5x8axa1xefxbcx8cxe5x8fx91xe5xb1x95xe5xbdx93xe5x9cxb0xe4xbbxa3xe7x90x86xe3x80x82
|
2009-04-03
|
1300200800002
|
xe5xbexb7xe5x9bxbd
|
xe5x8dx9axe6xb7xb1xe5xb7xa5xe5x85xb7xe8x82xa1xe4xbbxbdxe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5x8dx9axe6xb7xb1xe5xb7xa5xe5x85xb7xe9x9bx86xe5x9bxa2xe6xacxa7xe6xb4xb2xe5x8ax9exe4xbax8bxe5xa4x84
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe4xb8xbbxe8xa6x81xe9x92x88xe5xafxb9xe6xacxa7xe6xb4xb2xe7x9ax84xe5xb8x82xe5x9cxbaxe5x92x8cxe5xaexa2xe6x88xb7xefxbcx8cxe9x80x9axe8xbfx87xe5x8axa0xe5xbcxbaxe5xb8x82xe5x9cxbaxe8xb0x83xe7xa0x94xefxbcx8cxe4xb8xbaxe5x85xacxe5x8fxb8xe5xbcx80xe6x8bx93xe6xacxa7xe6xb4xb2xe5xb8x82xe5x9cxbaxefxbcx8cxe6x98x8exe7xa1xaexe5xb8x82xe5x9cxbaxe5xaex9axe4xbdx8dxe5x92x8cxe4xbaxa7xe5x93x81xe5xaex9axe4xbdx8dxefxbcx9bxe5x8axa0xe5xbcxbaxe4xb8x8exe5xaexa2xe6x88xb7xe7x9ax84xe6xb2x9fxe9x80x9axefxbcx8cxe4xb8xbaxe5xaexa2xe6x88xb7xe6x8fx90xe4xbex9bxe6x9bxb4xe4xbexbfxe6x8dxb7xe3x80x81xe6x9bxb4xe5x85xa8xe9x9dxa2xe7x9ax84xe6x9cx8dxe5x8axa1xe5x92x8cxe6x8ax80xe6x9cxafxe6x94xafxe6x8cx81xefxbcx9bxe8xbfx9bxe4xb8x80xe6xadxa5xe5xbcx80xe6x8bx93xe6x96xb0xe7x9ax84xe5xb8x82xe5x9cxbaxefxbcx9bxe6x8cx96xe6x8ex98xe6x96xb0xe7x9ax84xe5xaexa2xe6x88xb7xefxbcx9bxe8xb7x9fxe8xb8xaaxe6xacxa7xe6xb4xb2xe5x90x8cxe8xa1x8cxe5x85x88xe8xbfx9bxe7x9ax84xe5xb7xa5xe8x89xbaxe3x80x81xe6x8ax80xe6x9cxafxe3x80x81xe8xaexbexe5xa4x87xe7xadx89xe4xbfxa1xe6x81xafxefxbcx8cxe6x8fx90xe5x8dx87xe5x9bxbdxe5x86x85xe5x90x8cxe7xb1xbbxe4xbaxa7xe5x93x81xe5x88xb6xe9x80xa0xe6xb0xb4xe5xb9xb3xe3x80x82
|
2008-03-14
|
1300200900001
|
xe4xb8xadxe5x9bxbdxe9xa6x99xe6xb8xaf
|
xe6xb2xb3xe5x8cx97xe7x9cx81xe5x9bxbdxe5xafx8cxe5x86x9cxe4xb8x9axe6x8ax95xe8xb5x84xe9x9bx86xe5x9bxa2xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe5x9bxbdxe5xafx8cxefxbcx88xe9xa6x99xe6xb8xafxefxbcx89xe6x8exa7xe8x82xa1xe6x9cx89xe9x99x90xe5x85xacxe5x8fxb8
|
xe6xb2xb3xe5x8cx97xe7x9cx81
|
xe4xbcx81xe4xb8x9axe6x8ax95xe8x9ex8dxe8xb5x84xe4xb8xadxe4xbbx8bxe6x9cx8dxe5x8axa1xe3x80x81xe8xb4xb8xe6x98x93xe4xbbxa3xe7x90x86xe3x80x81xe4xbfxa1xe6x81xafxe5x92xa8xe8xafxa2xe3x80x81xe4xbaxbaxe5x91x98xe5x9fxb9xe8xaexadxe3x80x82", "2009-05-04")
這條正則匹配了把所有條目當作一條給匹配了!
再次查閱正則表達式手冊,正則表達式默認進行貪婪匹配,再看我們寫的正則,[sS]*盡可能匹配更多的字符,然后它一直往下匹配直到遇到最后一個符合格式div,于是乎20條記錄被當作一個pattern匹配到了,中間的19條記錄全被當作了內容。
根據以上的分析,我們換用懶惰匹配即可,只需簡單地加一個問號:[sS]*?,結果正是我們想要的。
總結兩點:
1. 任意字符匹配[sS]* 2. 任意字符懶惰匹配[sS]*?
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/45371.html
-
摘要:紀念我的第一個爬蟲程序,一共寫了三個白天,其中有兩個上午沒有看,中途遇到了各種奇怪的問題,伴隨著他們的解決,對于一些基本的操作也弄清楚了。我這個程序想要獲取的是劍來小說,把各個章節的內容爬去下載存儲到文件里。
紀念我的第一個爬蟲程序,一共寫了三個白天,其中有兩個上午沒有看,中途遇到了各種奇怪的問題,伴隨著他們的解決,對于一些基本的操作也弄清楚了。果然,對于這些東西的最號的學習方式,就是...
Lin_R
評論0
收藏0
-
摘要:爬蟲架構架構組成管理器管理待爬取的集合和已爬取的集合,傳送待爬取的給網頁下載器。網頁下載器爬取對應的網頁,存儲成字符串,傳送給網頁解析器。從文檔中獲取所有文字內容正則匹配后記爬蟲基礎知識,至此足夠,接下來,在實戰中學習更高級的知識。
前言
Python非常適合用來開發網頁爬蟲,理由如下:1、抓取網頁本身的接口相比與其他靜態編程語言,如java,c#,c++,python抓取網頁文檔的接...
-
摘要:爬取糗百內容代碼地址微信公眾號智能制造社區,歡迎關注。爬蟲程序一般是通過模擬瀏覽器對相應發出請求,獲取數據,并通過正則等手段匹配出頁面中我們所需的數據。庫基本介紹是學習爬蟲的一大利器。
爬取糗百內容
GitHub 代碼地址https://github.com/injetlee/Python/blob/master/qiubai_crawer.py
微信公眾號:【智能制造社區】,歡迎關注...
-
摘要:通過本文的學習,可以快速掌握網絡爬蟲基礎,結合實戰練習,寫出一些簡單的爬蟲項目。從技術手段來說,網絡爬蟲有多種實現方案,如。二網絡爬蟲技術基礎在本次課中,將使用技術手段進行項目的編寫。
摘要:本文詳細講解了python網絡爬蟲,并介紹抓包分析等技術,實戰訓練三個網絡爬蟲案例,并簡單補充了常見的反爬策略與反爬攻克手段。通過本文的學習,可以快速掌握網絡爬蟲基礎,結合實戰練習,寫出一些簡單的...
-
摘要:在這之前,還是有必要對一些概念超輕量級反爬蟲方案后端掘金前言爬蟲和反爬蟲日益成為每家公司的標配系統。
爬蟲修煉之道——從網頁中提取結構化數據并保存(以爬取糗百文本板塊所有糗事為例) - 后端 - 掘金歡迎大家關注我的專題:爬蟲修煉之道 上篇 爬蟲修煉之道——編寫一個爬取多頁面的網絡爬蟲主要講解了如何使用python編寫一個可以下載多頁面的爬蟲,如何將相對URL轉為絕對URL,如何限速,...
1fe1se
評論0
收藏0
男|高級講師
-
閱讀 2672·2021-11-25 09:43
-
閱讀 2479·2021-09-22 15:29
-
閱讀 994·2021-09-22 15:17
-
閱讀 3637·2021-09-03 10:36
-
閱讀 2233·2019-08-30 13:54
-
閱讀 1752·2019-08-30 11:23
-
閱讀 1170·2019-08-29 16:58
-
閱讀 1299·2019-08-29 16:14
|