資訊專欄INFORMATION COLUMN
摘要：最近一個(gè)項(xiàng)目需要做。確定要獲取的字段在里面，定義好要獲取的字段，例如我需要獲取的網(wǎng)站標(biāo)題和首頁(yè)內(nèi)容。這里是為了測(cè)試匹配數(shù)據(jù)的，需要掌握的知識(shí)點(diǎn)為獲取辦法和選擇器獲取辦法。
最近一個(gè)項(xiàng)目需要做spider。就開始找資料，分析幾個(gè)工具后，得到最成熟穩(wěn)定的應(yīng)該首推Scrapy。 第一次使用Scrapy，寫篇文章記錄一下。
Scrapy的安裝我就不復(fù)述了。網(wǎng)上一大把的資料。安裝好環(huán)境后，就開始以下工作了。
大概操作步驟如下：
創(chuàng)建項(xiàng)目
創(chuàng)建spider
確定要獲取的字段
確定正則匹配的字段
保存入庫(kù)
創(chuàng)建項(xiàng)目scrapy startproject projectName【項(xiàng)目名】 cd projectName
在命令行中進(jìn)行以上操作。
創(chuàng)建spider事先把要獲取的網(wǎng)址準(zhǔn)備好 eg: https://segmentfault.com
scrapy genspider spiderName "https://segmentfault.com"
生成成功后，會(huì)在spider目錄下生成一個(gè)名叫：spiderName.py文件。獲取規(guī)則就需要書寫在這里面。
確定要獲取的字段在item.py里面，定義好要獲取的字段，例如我需要獲取sf.gg的網(wǎng)站標(biāo)題和首頁(yè)內(nèi)容。就需要定義兩個(gè)字段，title,content。想獲取的信息越細(xì)越好
class articleItem(Scrapy.Item):
# 獲取網(wǎng)站標(biāo)題
title = Scrapy.Field()
# 獲取網(wǎng)站內(nèi)容
content = Scrpay.Field()
確定正則匹配字段內(nèi)容
要注冊(cè)獲取數(shù)據(jù)的內(nèi)容是本身在HTML里面的，還是ajax獲取渲染的，如果是ajax渲染的數(shù)據(jù)，使用傳統(tǒng)的獲取不到數(shù)據(jù)。
這里是為了測(cè)試匹配數(shù)據(jù)的，需要掌握的知識(shí)點(diǎn)為xpath獲取辦法和css選擇器獲取辦法。其中css類似jquery的選擇器。
scrapy shell "https://segmentfault.com"確定入庫(kù)
保存形式有多種，json或數(shù)據(jù)庫(kù)
最好的學(xué)習(xí)資料，永遠(yuǎn)都是代碼+說(shuō)明文檔：
http://scrapy-chs.readthedocs...
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/44338.html
摘要：下載器下載器負(fù)責(zé)獲取頁(yè)面數(shù)據(jù)并提供給引擎，而后提供給。下載器中間件下載器中間件是在引擎及下載器之間的特定鉤子，處理傳遞給引擎的。一旦頁(yè)面下載完畢，下載器生成一個(gè)該頁(yè)面的，并將其通過(guò)下載中間件返回方向發(fā)送給引擎。 作者：xiaoyu微信公眾號(hào)：Python數(shù)據(jù)科學(xué)知乎：Python數(shù)據(jù)分析師 在爬蟲的路上，學(xué)習(xí)scrapy是一個(gè)必不可少的環(huán)節(jié)。也許有好多朋友此時(shí)此刻也正在接觸并學(xué)習(xí)sc...
摘要：使用中間件本次的測(cè)試站點(diǎn)依舊使用，通過(guò)訪問(wèn)可以獲取當(dāng)前請(qǐng)求的地址。中間件默認(rèn)是開啟的，可以查看其源碼重點(diǎn)為方法。修改代理的方式非常簡(jiǎn)單，只需要在請(qǐng)求創(chuàng)建的時(shí)候，增加參數(shù)即可。接下來(lái)將可用的代理保存到文件中。同步修改文件中的代碼。 ...
摘要：爬蟲是我接觸計(jì)算機(jī)編程的入門。練練練本文推薦的資源就是以項(xiàng)目練習(xí)帶動(dòng)爬蟲學(xué)習(xí)，囊括了大部分爬蟲工程師要求的知識(shí)點(diǎn)。拓展閱讀一文了解爬蟲與反爬蟲最后，請(qǐng)注意，爬蟲的工作機(jī)會(huì)相對(duì)較少。 爬蟲是我接觸計(jì)算機(jī)編程的入門。哥當(dāng)年寫第一行代碼的時(shí)候別提有多痛苦。 本文旨在用一篇文章說(shuō)透爬蟲如何自學(xué)可以達(dá)到找工作的要求。 爬蟲的學(xué)習(xí)就是跟著實(shí)際項(xiàng)目去學(xué)，每個(gè)項(xiàng)目會(huì)涉及到不同的知識(shí)點(diǎn)，項(xiàng)目做多了，自然...
閱讀 1017·2021-09-30 09:58
閱讀 2848·2021-09-09 11:55
閱讀 2011·2021-09-01 11:41
閱讀 1004·2019-08-30 15:55
閱讀 3363·2019-08-30 12:50
閱讀 3508·2019-08-29 18:37
閱讀 3310·2019-08-29 16:37
閱讀 2023·2019-08-29 13:00
