4、web爬蟲(chóng)，scrapy模塊標(biāo)簽選擇器下載圖片，以及正則匹配標(biāo)簽

KitorinZero 發(fā)布于2019-07-31 10:33 / 3448人閱讀

摘要：百度云搜索，搜各種資料搜網(wǎng)盤(pán)，搜各種資料標(biāo)簽選擇器對(duì)象創(chuàng)建標(biāo)簽選擇器對(duì)象，參數(shù)接收回調(diào)的對(duì)象需要導(dǎo)入模塊標(biāo)簽選擇器方法，是里的一個(gè)方法，參數(shù)接收選擇器規(guī)則，返回列表元素是一個(gè)標(biāo)簽對(duì)象獲取到選擇器過(guò)濾后的內(nèi)容，返回列表元素是內(nèi)容選擇器規(guī)則表示

【百度云搜索，搜各種資料:http://bdy.lqkweb.com】

【搜網(wǎng)盤(pán)，搜各種資料:http://www.swpan.cn】

標(biāo)簽選擇器對(duì)象

HtmlXPathSelector()創(chuàng)建標(biāo)簽選擇器對(duì)象，參數(shù)接收response回調(diào)的html對(duì)象
需要導(dǎo)入模塊：from scrapy.selector import HtmlXPathSelector

select()標(biāo)簽選擇器方法，是HtmlXPathSelector里的一個(gè)方法，參數(shù)接收選擇器規(guī)則，返回列表元素是一個(gè)標(biāo)簽對(duì)象

extract()獲取到選擇器過(guò)濾后的內(nèi)容，返回列表元素是內(nèi)容

選擇器規(guī)則

　　//x?表示向下查找n層指定標(biāo)簽，如：//div 表示查找所有div標(biāo)簽
　　/x?表示向下查找一層指定的標(biāo)簽
　　/@x?表示查找指定屬性,可以連綴如：@id @src
　　[@class="class名稱(chēng)"]?表示查找指定屬性等于指定值的標(biāo)簽,可以連綴，查找class名稱(chēng)等于指定名稱(chēng)的標(biāo)簽
　　/text()?獲取標(biāo)簽文本類(lèi)容
　　[x]?通過(guò)索引獲取集合里的指定一個(gè)元素

獲取指定的標(biāo)簽對(duì)象

#?-*-?coding:?utf-8?-*-
import?scrapy???????#導(dǎo)入爬蟲(chóng)模塊
from?scrapy.selector?import?HtmlXPathSelector??#導(dǎo)入HtmlXPathSelector模塊
from?urllib?import?request?????????????????????#導(dǎo)入request模塊
import?os

class?AdcSpider(scrapy.Spider):
????name?=?"adc"????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱(chēng)
????allowed_domains?=?["www.shaimn.com"]
????start_urls?=?["http://www.shaimn.com/xinggan/"]

????def?parse(self,?response):
????????hxs?=?HtmlXPathSelector(response)???????????????#創(chuàng)建HtmlXPathSelector對(duì)象，將頁(yè)面返回對(duì)象傳進(jìn)去

????????items?=?hxs.select("http://div[@class="showlist"]/li")??#標(biāo)簽選擇器，表示獲取所有class等于showlist的div，下面的li標(biāo)簽
????????print(items)???????????????????????????????????????#返回標(biāo)簽對(duì)象

循環(huán)獲取到每個(gè)li標(biāo)簽里的子標(biāo)簽，以及各種屬性或者文本

#?-*-?coding:?utf-8?-*-
import?scrapy???????#導(dǎo)入爬蟲(chóng)模塊
from?scrapy.selector?import?HtmlXPathSelector??#導(dǎo)入HtmlXPathSelector模塊
from?urllib?import?request?????????????????????#導(dǎo)入request模塊
import?os

class?AdcSpider(scrapy.Spider):
????name?=?"adc"????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱(chēng)
????allowed_domains?=?["www.shaimn.com"]
????start_urls?=?["http://www.shaimn.com/xinggan/"]

????def?parse(self,?response):
????????hxs?=?HtmlXPathSelector(response)???????????????#創(chuàng)建HtmlXPathSelector對(duì)象，將頁(yè)面返回對(duì)象傳進(jìn)去

????????items?=?hxs.select("http://div[@class="showlist"]/li")??#標(biāo)簽選擇器，表示獲取所有class等于showlist的div，下面的li標(biāo)簽
????????#?print(items)?????????????????????????????????????#返回標(biāo)簽對(duì)象
????????for?i?in?range(len(items)):????????????????????????#根據(jù)li標(biāo)簽的長(zhǎng)度循環(huán)次數(shù)
????????????title?=?hxs.select("http://div[@class="showlist"]/li[%d]//img/@alt"?%?i).extract()???#根據(jù)循環(huán)的次數(shù)作為下標(biāo)獲取到當(dāng)前l(fā)i標(biāo)簽，下的img標(biāo)簽的alt屬性?xún)?nèi)容
????????????src?=?hxs.select("http://div[@class="showlist"]/li[%d]//img/@src"?%?i).extract()?????#根據(jù)循環(huán)的次數(shù)作為下標(biāo)獲取到當(dāng)前l(fā)i標(biāo)簽，下的img標(biāo)簽的src屬性?xún)?nèi)容
????????????if?title?and?src:
????????????????print(title,src)??#返回類(lèi)容列表

將獲取到的圖片下載到本地

urlretrieve()將文件保存到本地，參數(shù)1要保存文件的src，參數(shù)2保存路徑
urlretrieve是urllib下request模塊的一個(gè)方法，需要導(dǎo)入from urllib import request

#?-*-?coding:?utf-8?-*-
import?scrapy???????#導(dǎo)入爬蟲(chóng)模塊
from?scrapy.selector?import?HtmlXPathSelector??#導(dǎo)入HtmlXPathSelector模塊
from?urllib?import?request?????????????????????#導(dǎo)入request模塊
import?os

class?AdcSpider(scrapy.Spider):
????name?=?"adc"????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱(chēng)
????allowed_domains?=?["www.shaimn.com"]
????start_urls?=?["http://www.shaimn.com/xinggan/"]

????def?parse(self,?response):
????????hxs?=?HtmlXPathSelector(response)???????????????#創(chuàng)建HtmlXPathSelector對(duì)象，將頁(yè)面返回對(duì)象傳進(jìn)去

????????items?=?hxs.select("http://div[@class="showlist"]/li")??#標(biāo)簽選擇器，表示獲取所有class等于showlist的div，下面的li標(biāo)簽
????????#?print(items)?????????????????????????????????????#返回標(biāo)簽對(duì)象
????????for?i?in?range(len(items)):????????????????????????#根據(jù)li標(biāo)簽的長(zhǎng)度循環(huán)次數(shù)
????????????title?=?hxs.select("http://div[@class="showlist"]/li[%d]//img/@alt"?%?i).extract()???#根據(jù)循環(huán)的次數(shù)作為下標(biāo)獲取到當(dāng)前l(fā)i標(biāo)簽，下的img標(biāo)簽的alt屬性?xún)?nèi)容
????????????src?=?hxs.select("http://div[@class="showlist"]/li[%d]//img/@src"?%?i).extract()?????#根據(jù)循環(huán)的次數(shù)作為下標(biāo)獲取到當(dāng)前l(fā)i標(biāo)簽，下的img標(biāo)簽的src屬性?xún)?nèi)容
????????????if?title?and?src:
????????????????#?print(title[0],src[0])????????????????????????????????????????????????????#通過(guò)下標(biāo)獲取到字符串內(nèi)容
????????????????file_path?=?os.path.join(os.getcwd()?+?"/img/",?title[0]?+?".jpg")??????????#拼接圖片保存路徑
????????????????request.urlretrieve(src[0],?file_path)??????????????????????????#將圖片保存到本地，參數(shù)1獲取到的src，參數(shù)2保存路徑

xpath()標(biāo)簽選擇器，是Selector類(lèi)里的一個(gè)方法，參數(shù)是選擇規(guī)則【推薦】

選擇器規(guī)則同上

selector()創(chuàng)建選擇器類(lèi)，需要接受html對(duì)象
需要導(dǎo)入：from scrapy.selector import Selector

#?-*-?coding:?utf-8?-*-
import?scrapy???????#導(dǎo)入爬蟲(chóng)模塊
from?scrapy.selector?import?HtmlXPathSelector??#導(dǎo)入HtmlXPathSelector模塊
from?scrapy.selector?import?Selector

class?AdcSpider(scrapy.Spider):
????name?=?"adc"????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱(chēng)
????allowed_domains?=?["www.shaimn.com"]
????start_urls?=?["http://www.shaimn.com/xinggan/"]

????def?parse(self,?response):
????????items?=?Selector(response=response).xpath("http://div[@class="showlist"]/li").extract()
????????#?print(items)?????????????????????????????????????#返回標(biāo)簽對(duì)象
????????for?i?in?range(len(items)):
????????????title?=?Selector(response=response).xpath("http://div[@class="showlist"]/li[%d]//img/@alt"?%?i).extract()
????????????src?=?Selector(response=response).xpath("http://div[@class="showlist"]/li[%d]//img/@src"?%?i).extract()
????????????print(title,src)

正則表達(dá)式的應(yīng)用

正則表達(dá)式是彌補(bǔ)，選擇器規(guī)則無(wú)法滿(mǎn)足過(guò)濾情況時(shí)使用的，

分為兩種正則使用方式

　　1、將選擇器規(guī)則過(guò)濾出來(lái)的結(jié)果進(jìn)行正則匹配

　　2、在選擇器規(guī)則里應(yīng)用正則進(jìn)行過(guò)濾

1、將選擇器規(guī)則過(guò)濾出來(lái)的結(jié)果進(jìn)行正則匹配，用正則取最終內(nèi)容

最后.re("正則")

#?-*-?coding:?utf-8?-*-
import?scrapy???????#導(dǎo)入爬蟲(chóng)模塊
from?scrapy.selector?import?HtmlXPathSelector??#導(dǎo)入HtmlXPathSelector模塊
from?scrapy.selector?import?Selector

class?AdcSpider(scrapy.Spider):
????name?=?"adc"????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱(chēng)
????allowed_domains?=?["www.shaimn.com"]
????start_urls?=?["http://www.shaimn.com/xinggan/"]

????def?parse(self,?response):
????????items?=?Selector(response=response).xpath("http://div[@class="showlist"]/li//img")[0].extract()
????????print(items)?????????????????????????????????????#返回標(biāo)簽對(duì)象
????????items2?=?Selector(response=response).xpath("http://div[@class="showlist"]/li//img")[0].re("alt="(w+)")
????????print(items2)

#?
#?["人體藝術(shù)mmSunny前凸后翹性感誘惑寫(xiě)真"]

2、在選擇器規(guī)則里應(yīng)用正則進(jìn)行過(guò)濾

[re:正則規(guī)則]

#?-*-?coding:?utf-8?-*-
import?scrapy???????#導(dǎo)入爬蟲(chóng)模塊
from?scrapy.selector?import?HtmlXPathSelector??#導(dǎo)入HtmlXPathSelector模塊
from?scrapy.selector?import?Selector

class?AdcSpider(scrapy.Spider):
????name?=?"adc"????????????????????????????????????????#設(shè)置爬蟲(chóng)名稱(chēng)
????allowed_domains?=?["www.shaimn.com"]
????start_urls?=?["http://www.shaimn.com/xinggan/"]

????def?parse(self,?response):
????????items?=?Selector(response=response).xpath("http://div").extract()
????????#?print(items)?????????????????????????????????????#返回標(biāo)簽對(duì)象
????????items2?=?Selector(response=response).xpath("http://div[re:test(@class,?"showlist")]").extract()??#正則找到div的class等于showlist的元素
????????print(items2)

【轉(zhuǎn)載自：http://www.leiqiankun.com/?id=47】