Python 爬蟲入門(一)——爬取糗百

legendaryedu 發(fā)布于2019-07-30 17:13 / 1058人閱讀

摘要：爬取糗百內(nèi)容代碼地址微信公眾號智能制造社區(qū)，歡迎關(guān)注。爬蟲程序一般是通過模擬瀏覽器對相應(yīng)發(fā)出請求，獲取數(shù)據(jù)，并通過正則等手段匹配出頁面中我們所需的數(shù)據(jù)。庫基本介紹是學(xué)習爬蟲的一大利器。

爬取糗百內(nèi)容

GitHub 代碼地址https://github.com/injetlee/Python/blob/master/qiubai_crawer.py

微信公眾號：【智能制造社區(qū)】，歡迎關(guān)注。

本文目標

掌握爬蟲的基本概念

Requests 及 Beautiful Soup 兩個 Python 庫的基本使用

通過以上知識完成糗百段子抓取

爬蟲基本概念

爬蟲也稱網(wǎng)頁蜘蛛，主要用于抓取網(wǎng)頁上的特定信息。這在我們需要獲取一些信息時非常有用，比如我們可以批量到美圖網(wǎng)站下載圖片，批量下載段子。省去手工操作的大量時間。爬蟲程序一般是通過模擬瀏覽器對相應(yīng)URL發(fā)出請求，獲取數(shù)據(jù)，并通過正則等手段匹配出頁面中我們所需的數(shù)據(jù)。

在學(xué)習爬蟲之前，最好到 w3school 去了解一下 HTML 標簽的概念以及基本的 CSS 的概念。這會讓我們更容易的理解如何獲取頁面中某個內(nèi)容。

Requests 庫基本介紹

Requests 是學(xué)習爬蟲的一大利器。是一個優(yōu)雅簡單的 HTTP庫。官網(wǎng)介紹如下：

Requests: HTTP for Humans

專門為人類使用的 HTTP 庫。使用起來非常簡單明了。
我們平時瀏覽網(wǎng)頁的步驟是輸入網(wǎng)址，打開。在 Requests 中是如下這樣的，我們可以在 Python 交互式解釋器中輸入以下代碼：

import requests
r = requests.get("https://www.qiushibaike.com/text/") # 打開網(wǎng)址，一般我們會設(shè)置 請求頭，來更逼真的模擬瀏覽器，下文有介紹
r.text

我門看到下面一堆的代碼，其實就是網(wǎng)頁的源代碼(也可以在瀏覽器上右鍵查看頁面源代碼)。通過這幾行代碼我們就拿到了頁面的所有信息，剩下的就是從頁面中找到我們所需要的信息。

Beautiful Soup 庫介紹

拿到網(wǎng)頁信息后，我們要解析頁面，通常來說我們有以下幾種方式來解析頁面，獲取我們所需的信息。

正則表達式

適用于簡單數(shù)據(jù)的匹配，如果匹配內(nèi)容較復(fù)雜，正則表達式寫起來會很繞，同時頁面內(nèi)容稍微變化，正則就會失效

Lxml

Lxml 是專門用來解析 XML 格式文件的庫，該模塊用 C 語言編寫，解析速度很快，和正則表達式速度差不多，但是提供了 XPath 和 CSS 選擇器等定位元素的方法

Beautiful Soup

這是一個 Python 實現(xiàn)的解析庫，相比較于前兩種來說，語法會更簡單明了一點，文檔也比較詳細。唯一的一點就是運行速度比前兩種方式慢幾倍，當數(shù)據(jù)量非常大時相差會更多。

本文作為入門教程，就從 Beautiful Soup 入手，來學(xué)習一下匹配頁面所需元素的方法。
假如有以下 HTML 內(nèi)容 example.html

我們通過 Beautiful Soup 來解析這個 html. 首先我們pip install beautifulsoup4安裝這個庫，并看一下簡單使用。

>>>from bs4 import BeautifulSoup
>>>soup = BeautifulSoup("example.html", "html.parser") #加載我們的html文件
>>>soup.find("div") # 找到 div 標簽
"

首頁
新聞
影視

"

>>>soup.find_all("li") # 找到所有 li 標簽
"[首頁
, 新聞
, 影視]"

>>>for i in li:
    print(i.text)    #獲取每個 li 標簽的內(nèi)容
"
首頁
新聞
影視
"

詳細的操作可以去看一下文檔，文檔非常詳細，例子也很多，簡單明了。

糗百爬蟲代碼

我們先爬取純文本的內(nèi)容 https://www.qiushibaike.com/t... 爬取這個鏈接下的內(nèi)容。我們把頁面結(jié)構(gòu)截圖如下，我們要獲取的信息，我用紅色的方框進行了標注。

圖一：

圖二：

import requests
from bs4 import BeautifulSoup


def download_page(url):
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0"}
    r = requests.get(url, headers=headers)  # 增加headers, 模擬瀏覽器
    return r.text


def get_content(html, page):
    output = """第{}頁 作者：{} 性別：{} 年齡：{} 點贊：{} 評論：{}
{}
------------
""" # 最終輸出格式
    soup = BeautifulSoup(html, "html.parser")
    con = soup.find(id="content-left")  # 如圖一紅色方框
    con_list = con.find_all("div", class_="article")  # 找到文章列表
    for i in con_list:
        author = i.find("h2").string  # 獲取作者名字
        content = i.find("div", class_="content").find("span").get_text()  # 獲取內(nèi)容
        stats = i.find("div", class_="stats")
        vote = stats.find("span", class_="stats-vote").find("i", class_="number").string
        comment = stats.find("span", class_="stats-comments").find("i", class_="number").string
        author_info = i.find("div", class_="articleGender")  # 獲取作者 年齡，性別
        if author_info is not None:  # 非匿名用戶
            class_list = author_info["class"]
            if "womenIcon" in class_list:
                gender = "女"
            elif "manIcon" in class_list:
                gender = "男"
            else:
                gender = ""
            age = author_info.string   # 獲取年齡
        else:  # 匿名用戶
            gender = ""
            age = ""

        save_txt(output.format(page, author, gender, age, vote, comment, content))


def save_txt(*args):
    for i in args:
        with open("qiubai.txt", "a", encoding="utf-8") as f:
            f.write(i)


def main():
    # 我們點擊下面鏈接，在頁面下方可以看到共有13頁，可以構(gòu)造如下 url，
    # 當然我們最好是用 Beautiful Soup找到頁面底部有多少頁。
    for i in range(1, 14):
        url = "https://qiushibaike.com/text/page/{}".format(i)
        html = download_page(url)
        get_content(html, i)

if __name__ == "__main__":
    main()

運行代碼后，我們會得到 "qiubai.txt"文件，打開后如下所示