摘要：最簡(jiǎn)爬蟲環(huán)境準(zhǔn)備最好使用另外需要兩個(gè)必要的庫一個(gè)封裝了服務(wù)的庫類似，使用非常方便開始實(shí)現(xiàn)第一個(gè)應(yīng)用我們第一個(gè)應(yīng)用實(shí)現(xiàn)的功能主要如下訪問一個(gè)頁面這里我們以糗事百科為例獲得頁面的內(nèi)容進(jìn)行簡(jiǎn)單的處理，獲得我們需要的內(nèi)容結(jié)果簡(jiǎn)單分析利用獲得頁面
Step1 - 最簡(jiǎn)爬蟲
環(huán)境準(zhǔn)備
Python3.5 最好使用venv
另外需要兩個(gè)必要的庫：
requests : 一個(gè)封裝了HTTP服務(wù)的python庫
pyquery : 類似Jquery，使用非常方便
$ pip install requests
$ pip install pyquery
開始
實(shí)現(xiàn)第一個(gè)應(yīng)用
我們第一個(gè)應(yīng)用實(shí)現(xiàn)的功能主要如下：
訪問一個(gè)頁面,這里我們以 糗事百科(http://www.qiushibaike.com/) 為例
獲得頁面的內(nèi)容
進(jìn)行簡(jiǎn)單的處理，獲得我們需要的內(nèi)容
import requests
from pyquery import PyQuery as pq
__author__ = "BONFY CHEN "
SITE = "http://www.qiushibaike.com/"
r = requests.get(SITE)
assert r.status_code == 200
d = pq(r.text)
contents = d("div .article")
for item in contents:
i = pq(item)
content = i("div .content").text()
print(content)
結(jié)果
簡(jiǎn)單分析
利用 requests.get 獲得頁面
assert 斷言，如果網(wǎng)絡(luò)問題 訪問不到就退出
contents 利用 pyquery 獲得所有文章 后續(xù) 讀取 div class ＝ "content" 的為文本內(nèi)容 （這里沒有處理圖片后續(xù)的講解中會(huì)完善）
print 輸出
完整代碼
補(bǔ)充模仿瀏覽器的Headers,詳情見 https://github.com/bonfy/xiaolinBot
歡迎關(guān)注及一起交流
請(qǐng)期待下一篇： 代碼優(yōu)化
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/37937.html
