摘要：河北陽光理政投訴板塊開始擼代碼今天再次嘗試使用一個(gè)新的模塊，它可以配合快速解析文檔，官網(wǎng)網(wǎng)站利用安裝，如果安裝失敗，可以在搜索引擎多搜搜，內(nèi)容很多，有解決方案。

之前幾篇文章都是在寫圖片相關(guān)的爬蟲，今天寫個(gè)留言板爬出，為另一套數(shù)據(jù)分析案例的教程做做準(zhǔn)備，作為一個(gè)河北人，遵紀(jì)守法，有事投訴是必備的技能，那么咱看看我們大河北人都因?yàn)槭裁赐对V過呢？

今天要爬取的網(wǎng)站地址 http://yglz.tousu.hebnews.cn/l-1001-5-，一遍爬取一遍嘀咕，別因?yàn)榕肋@個(gè)網(wǎng)站在去喝茶，再次聲明，學(xué)習(xí)目的，切勿把人家網(wǎng)站爬癱瘓了。

今天再次嘗試使用一個(gè)新的模塊 lxml ，它可以配合xpath快速解析HTML文檔，官網(wǎng)網(wǎng)站 https://lxml.de/index.html
利用pip安裝lxml，如果安裝失敗，可以在搜索引擎多搜搜，內(nèi)容很多，100%有解決方案。

pip install lxml

廢話不多說，直接通過requests模塊獲取百度首頁，然后用lxml進(jìn)行解析

import requests
from lxml import etree  # 從lxml中導(dǎo)入etree

response = requests.get("http://www.baidu.com")
html = response.content.decode("utf-8")
tree=etree.HTML(html)  # 解析html

print(tree)

當(dāng)你打印的內(nèi)容為下圖所示，你就接近成功了！

下面就是 配合xpath 語法獲取網(wǎng)頁元素了，關(guān)于xpath 這個(gè)你也可以自行去學(xué)習(xí)，非常簡單，搜索一下全都是資料，咱就不講了。

通過xpath我們進(jìn)行下一步的操作，代碼注釋可以多看一下。

tree=etree.HTML(html)  # 解析html
hrefs = tree.xpath("http://a")  #通過xpath獲取所有的a元素
# 注意網(wǎng)頁中有很多的a標(biāo)簽，所以獲取到的是一個(gè)數(shù)組，那么我們需要用循環(huán)進(jìn)行操作
for href in hrefs:
    print(href)

打印結(jié)果如下

在使用xpath配合lxml中，記住只要輸出上述內(nèi)容，就代表獲取到東西了，當(dāng)然這個(gè)不一定是你需要的，不過代碼至少是沒有錯(cuò)誤的。

繼續(xù)編寫代碼

# 注意網(wǎng)頁中有很多的a標(biāo)簽，所以獲取到的是一個(gè)數(shù)組，那么我們需要用循環(huán)進(jìn)行操作
for href in hrefs:
    print(href)
    print(href.get("href")) # 獲取html元素屬性
    print(href.text)  # 獲取a標(biāo)簽內(nèi)部文字

輸出結(jié)果

http://news.baidu.com
新聞

http://www.hao123.com
hao123

http://map.baidu.com
地圖

http://v.baidu.com
視頻

http://tieba.baidu.com
貼吧

現(xiàn)在你已經(jīng)看到，我們已經(jīng)獲取到了百度首頁的所有a標(biāo)簽，并且獲取到了a標(biāo)簽的href屬性和a標(biāo)簽的文字。有這些內(nèi)容，你就能很容易的去獲取我們的目標(biāo)網(wǎng)站了。

找到我們的目標(biāo)網(wǎng)頁，結(jié)果發(fā)現(xiàn)，出事情了，頁面竟然是用aspx動(dòng)態(tài)生成的，技術(shù)你就不需要研究了，總之，碰到了一個(gè)比較小的問題。

首先，點(diǎn)擊下一頁的時(shí)候，頁面是局部刷新的

刷新的同時(shí)，捕獲了一下發(fā)送的請求，是post方式，這個(gè)需要留意一下，最要緊的是下面第2張圖片和第3張圖片。

這張圖片中的viewstate

這張圖片也有一些奇怪的參數(shù)

這些參數(shù)都是典型的動(dòng)態(tài)網(wǎng)頁參數(shù)。

解決這個(gè)問題，還要從源頭抓起！

打開我們要爬取的首頁http://yglz.tousu.hebnews.cn/l-1001-5- 第1點(diǎn)需要確定，post的地址經(jīng)過分析就是這個(gè)頁面。

所以這段代碼是必備的了，注意下面的post

response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
html = response.content.decode("utf-8")

右鍵查看源碼之后，發(fā)現(xiàn)源碼中有一些比較重要的隱藏域 里面獲取就是我們要的必備信息

沒錯(cuò)，這些內(nèi)容，我們想辦法獲取到就可以了
基本步驟

獲取源碼

lxml通過xpath解析隱藏域，取值

import requests
from lxml import etree  # 從lxml中導(dǎo)入etree
try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html
hids = tree.xpath("http://input[@type="hidden"]")  # 獲取隱藏域

# 聲明一個(gè)字典，用來存儲(chǔ)后面的數(shù)據(jù)
common_param = {}
# 循環(huán)取值
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})  # 這個(gè)地方可以分開寫，應(yīng)該會(huì)很清楚，我就不寫了，總之，就是把上面獲取到的隱藏域的name屬性和value屬性都獲取到了

上面的代碼寫完之后，其實(shí)已經(jīng)完成了，非常核心的內(nèi)容了，后面就是繼續(xù)爬取了
我們按照post要的參數(shù)補(bǔ)充完整其他的參數(shù)即可

import requests
from lxml import etree  # 從lxml中導(dǎo)入etree

try:
    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-")
    html = response.content.decode("utf-8")
except Exception as e:
    print(e)

tree=etree.HTML(html)  # 解析html

hids = tree.xpath("http://input[@type="hidden"]")
common_param = {}
for ipt in hids:
    common_param.update({ipt.get("name"):ipt.get("value")})

##############################################################
for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",  # 注意這個(gè)地方，由于我直接看到了總共有690頁數(shù)據(jù)，所以直接寫死了循環(huán)次數(shù)
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})

到這一步，就可以抓取真實(shí)的數(shù)據(jù)了，我在下面的代碼中最關(guān)鍵的一些地方加上注釋，希望你能看懂

for i in range(1,691):
    common_param.update({"__CALLBACKPARAM":f"Load|*|{i}",
                       "__CALLBACKID": "__Page",
                       "__EVENTTARGET":"",
                       "__EVENTARGUMENT":""})


    response = requests.post("http://yglz.tousu.hebnews.cn/l-1001-5-",data=common_param,headers=headers)
    html = response.content.decode("utf-8")
    print("*"*200)

    tree = etree.HTML(html)  # 解析html
    divs = tree.xpath("http://div[@class="listcon"]")  # 解析列表區(qū)域div
    for div in divs:  # 循環(huán)這個(gè)區(qū)域
        try:
            # 注意下面是通過div去進(jìn)行的xpath查找，同時(shí)加上try方式報(bào)錯(cuò)
            shouli = div.xpath("span[1]/p/a/text()")[0]  # 受理單位
            type = div.xpath("span[2]/p/text()")[0].replace("
","")  # 投訴類型
            content = div.xpath("span[3]/p/a/text()")[0]  # 投訴內(nèi)容
            datetime = div.xpath("span[4]/p/text()")[0].replace("
","")  # 時(shí)間
            status = div.xpath("span[6]/p/text()")[0].replace("
","")  # 時(shí)間
            one_data = {"shouli":shouli,
                        "type":type,
                        "content":content,
                        "datetime":datetime,
                        "status":status,
                        }
            print(one_data)  # 打印數(shù)據(jù)，方便存儲(chǔ)到mongodb里面
            
        except Exception as e:
            print("內(nèi)部數(shù)據(jù)報(bào)錯(cuò)")
            print(div)
            continue
    

代碼完成，非常爽

最后抓取到了 13765 條數(shù)據(jù)，官方在我抓取的時(shí)候是13790，差了25條數(shù)據(jù)，沒有大的影響~

數(shù)據(jù)我都存儲(chǔ)在了 mongodb里面，關(guān)于這個(gè)如何使用，請去看我以前的代碼吧~~~~

這些數(shù)據(jù)，放著以后做數(shù)據(jù)分析用了。