資訊專欄INFORMATION COLUMN
摘要：但是感覺還是需要一篇的教程，不然沒有一個總體的認(rèn)識。修飾器，表示每天會執(zhí)行一次，這樣就能抓到最新的電影了。不過更推薦使用選擇器。既然前端程序員都使用選擇器為頁面上的不同元素設(shè)置樣式，我們也可以通過它定位需要的元素。
雖然以前寫過 如何抓取WEB頁面 和 如何從 WEB 頁面中提取信息。但是感覺還是需要一篇 step by step 的教程，不然沒有一個總體的認(rèn)識。不過，沒想到這個教程居然會變成一篇譯文，在這個爬蟲教程系列文章中，會以實際的例子，由淺入深討論爬?。ㄗト『徒馕觯┑囊恍╆P(guān)鍵問題。
在 教程一 中，我們將要爬取的網(wǎng)站是豆瓣電影：http://movie.douban.com/
你可以在: http://demo.pyspider.org/debug/tutorial_douban_movie 獲得完整的代碼，和進(jìn)行測試。
開始之前由于教程是基于 pyspider 的，你可以安裝一個 pyspider（Quickstart，也可以直接使用 pyspider 的 demo 環(huán)境： http://demo.pyspider.org/。
你還應(yīng)該至少對萬維網(wǎng)是什么有一個簡單的認(rèn)識：
萬維網(wǎng)是一個由許多互相鏈接的超文本頁面（以下簡稱網(wǎng)頁）組成的系統(tǒng)。
網(wǎng)頁使用網(wǎng)址（URL）定位，并鏈接彼此
網(wǎng)頁使用 HTTP 協(xié)議傳輸
網(wǎng)頁使用 HTML 描述外觀和語義
所以，爬網(wǎng)頁實際上就是：
找到包含我們需要的信息的網(wǎng)址（URL）列表
通過 HTTP 協(xié)議把頁面下載回來
從頁面的 HTML 中解析出需要的信息
找到更多這個的 URL，回到 2 繼續(xù)
選取一個開始網(wǎng)址既然我們要爬所有的電影，首先我們需要抓一個電影列表，一個好的列表應(yīng)該：
包含足夠多的電影的 URL
通過翻頁，可以遍歷到所有的電影
一個按照更新時間排序的列表，可以更快抓到最新更新的電影
我們在 http://movie.douban.com/ 掃了一遍，發(fā)現(xiàn)并沒有一個列表能包含所有電影，只能退而求其次，通過抓取分類下的所有的標(biāo)簽列表頁，來遍歷所有的電影： http://movie.douban.com/tag/
創(chuàng)建一個項目在 pyspider 的 dashboard 的右下角，點擊 "Create" 按鈕
替換 on_start 函數(shù)的 self.crawl 的 URL：
python@every(minutes=24 * 60)
def on_start(self):
self.crawl("http://movie.douban.com/tag/", callback=self.index_page)
self.crawl 告訴 pyspider 抓取指定頁面，然后使用 callback 函數(shù)對結(jié)果進(jìn)行解析。
@every 修飾器，表示 on_start 每天會執(zhí)行一次，這樣就能抓到最新的電影了。
點擊綠色的 run 執(zhí)行，你會看到 follows 上面有一個紅色的 1，切換到 follows 面板，點擊綠色的播放按鈕：
Tag 列表頁在 tag 列表頁 中，我們需要提取出所有的 電影列表頁 的 URL。你可能已經(jīng)發(fā)現(xiàn)了，sample handler 已經(jīng)提取了非常多大的 URL，所有，一種可行的提取列表頁 URL 的方法就是用正則從中過濾出來：
pythonimport re
...
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc("a[href^="http"]").items():
if re.match("http://movie.douban.com/tag/w+", each.attr.href, re.U):
self.crawl(each.attr.href, callback=self.list_page)
由于 電影列表頁和 tag列表頁長的并不一樣，在這里新建了一個 callback 為 self.list_page
@config(age=10 * 24 * 60 * 60) 在這表示我們認(rèn)為 10 天內(nèi)頁面有效，不會再次進(jìn)行更新抓取
由于 pyspider 是純 Python 環(huán)境，你可以使用 Python 強(qiáng)大的內(nèi)置庫，或者你熟悉的第三方庫對頁面進(jìn)行解析。不過更推薦使用 CSS選擇器。
電影列表頁再次點擊 run 讓我們進(jìn)入一個電影列表頁(list_page)。在這個頁面中我們需要提取：
電影的鏈接，例如，http://movie.douban.com/subject/1292052/
下一頁的鏈接，用來翻頁
CSS選擇器CSS選擇器，顧名思義，是 CSS 用來定位需要設(shè)置樣式的元素 所使用的表達(dá)式。既然前端程序員都使用 CSS選擇器 為頁面上的不同元素設(shè)置樣式，我們也可以通過它定位需要的元素。你可以在 CSS 選擇器參考手冊 這里學(xué)習(xí)更多的 CSS選擇器 語法。
在 pyspider 中，內(nèi)置了 response.doc 的 PyQuery 對象，讓你可以使用類似 jQuery 的語法操作 DOM 元素。你可以在 PyQuery 的頁面上找到完整的文檔。
CSS Selector Helper在 pyspider 中，還內(nèi)置了一個 CSS Selector Helper，當(dāng)你點擊頁面上的元素的時候，可以幫你生成它的 CSS選擇器 表達(dá)式。你可以點擊 Enable CSS selector helper 按鈕，然后切換到 web 頁面：
開啟后，鼠標(biāo)放在元素上，會被黃色高亮，點擊后，所有擁有相同 CSS選擇器 表達(dá)式的元素會被高亮。表達(dá)式會被插入到 python 代碼當(dāng)前光標(biāo)位置。創(chuàng)建下面的代碼，將光標(biāo)停留在單引號中間：
pythondef list_page(self, response):
for each in response.doc("").items():
點擊一個電影的鏈接，CSS選擇器 表達(dá)式將會插入到你的代碼中，如此重復(fù)，插入翻頁的鏈接：
pythondef list_page(self, response):
for each in response.doc("HTML>BODY>DIV#wrapper>DIV#content>DIV.grid-16-8.clearfix>DIV.article>DIV>TABLE TR.item>TD>DIV.pl2>A").items():
self.crawl(each.attr.href, callback=self.detail_page)
# 翻頁
for each in response.doc("HTML>BODY>DIV#wrapper>DIV#content>DIV.grid-16-8.clearfix>DIV.article>DIV.paginator>A").items():
self.crawl(each.attr.href, callback=self.list_page)
電影詳情頁翻頁是一個到自己的 callback 回調(diào)
再次點擊 run，follow 到詳情頁。使用 css selector helper 分別添加電影標(biāo)題，打分和導(dǎo)演：
pythondef detail_page(self, response):
return {
"url": response.url,
"title": response.doc("HTML>BODY>DIV#wrapper>DIV#content>H1>SPAN").text(),
"rating": response.doc("HTML>BODY>DIV#wrapper>DIV#content>DIV.grid-16-8.clearfix>DIV.article>DIV.indent.clearfix>DIV.subjectwrap.clearfix>DIV#interest_sectl>DIV.rating_wrap.clearbox>P.rating_self.clearfix>STRONG.ll.rating_num").text(),
"導(dǎo)演": [x.text() for x in response.doc("a[rel="v:directedBy"]").items()],
}
注意，你會發(fā)現(xiàn) css selector helper 并不是總是能提取到合適的 CSS選擇器 表達(dá)式。你可以在 Chrome Dev Tools 的幫助下，寫一個合適的表達(dá)式：
右鍵點擊需要提取的元素，點擊審查元素。你并不需要像自動生成的表達(dá)式那樣寫出所有的祖先節(jié)點，只要寫出那些能區(qū)分你不需要的元素的關(guān)鍵節(jié)點的屬性就可以了。不過這需要抓取和網(wǎng)頁前端的經(jīng)驗。所以，學(xué)習(xí)抓取的最好方法就是學(xué)會這個頁面/網(wǎng)站是怎么寫的。
你也可以在 Chrome Dev Tools 的 Javascript Console 中，使用 $$(a[rel="v:directedBy"]) 測試 CSS Selector。
開始抓取使用 run 單步調(diào)試你的代碼，對于用一個 callback 最好使用多個頁面類型進(jìn)行測試。然后保存。
回到 Dashboard，找到你的項目
將 status 修改為 DEBUG 或 RUNNING
按 run 按鈕
原文：http://blog.binux.me/2015/01/pyspider-tutorial-level-1-html-and-css-selector/ （樣式比原文還好看，鬧哪樣?。?/p>
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/37477.html
摘要：現(xiàn)在我們用一個實戰(zhàn)項目，來進(jìn)一步掌握框架的使用。此次的項目爬取的目標(biāo)是去哪兒網(wǎng)，我要將所有攻略的作者標(biāo)題出發(fā)日期人均費用攻略正文等保存下來，存儲到中。代表當(dāng)前的爬取速率。 showImg(https://segmentfault.com/img/remote/1460000015563534); 閱讀文本大概需要 13 分鐘。 通過之前的文章介紹，你現(xiàn)在應(yīng)該對 pyspider 有了一...
摘要：在上一篇教程中，我們使用抓取豆瓣電影的內(nèi)容，并使用選擇器解析了一些內(nèi)容。挨個查看每個請求，通過訪問路徑和預(yù)覽，找到包含信息的請求在豆瓣這個例子中，請求并不多，可以挨個查看來確認(rèn)。腳本中還有一個使用渲染的提取版本，將會在下一篇教程中介紹。 在上一篇教程中，我們使用 self.crawl API 抓取豆瓣電影的 HTML 內(nèi)容，并使用 CSS 選擇器解析了一些內(nèi)容。不過，現(xiàn)在的網(wǎng)站通過使用...
摘要：通用網(wǎng)絡(luò)爬蟲通用網(wǎng)絡(luò)爬蟲又稱全網(wǎng)爬蟲，爬取對象從一些種子擴(kuò)充到整個。為提高工作效率，通用網(wǎng)絡(luò)爬蟲會采取一定的爬取策略。介紹是一個國人編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強(qiáng)大的。 爬蟲 簡單的說網(wǎng)絡(luò)爬蟲（Web crawler）也叫做網(wǎng)絡(luò)鏟（Web scraper）、網(wǎng)絡(luò)蜘蛛（Web spider），其行為一般是先爬到對應(yīng)的網(wǎng)頁上，再把需要的信息鏟下來。 分類 網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實現(xiàn)技術(shù)，...
摘要：通用網(wǎng)絡(luò)爬蟲通用網(wǎng)絡(luò)爬蟲又稱全網(wǎng)爬蟲，爬取對象從一些種子擴(kuò)充到整個。為提高工作效率，通用網(wǎng)絡(luò)爬蟲會采取一定的爬取策略。介紹是一個國人編寫的強(qiáng)大的網(wǎng)絡(luò)爬蟲系統(tǒng)并帶有強(qiáng)大的。 爬蟲 簡單的說網(wǎng)絡(luò)爬蟲（Web crawler）也叫做網(wǎng)絡(luò)鏟（Web scraper）、網(wǎng)絡(luò)蜘蛛（Web spider），其行為一般是先爬到對應(yīng)的網(wǎng)頁上，再把需要的信息鏟下來。 分類 網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實現(xiàn)技術(shù)，...
摘要：所以如果對爬蟲有一定基礎(chǔ)，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實戰(zhàn)爬蟲框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...
閱讀 881·2021-11-15 11:37
閱讀 3619·2021-11-11 16:55
閱讀 3285·2021-11-11 11:01
閱讀 1009·2019-08-30 15:43
閱讀 2756·2019-08-30 14:12
閱讀 695·2019-08-30 12:58
閱讀 3398·2019-08-29 15:19
閱讀 2039·2019-08-29 13:59
