爬蟲學習筆記：練習爬取多頁天涯帖子

wuaiqiu 發布于2019-07-30 15:41 / 1635人閱讀

摘要：引入庫和請求頭文件定義主體函數。函數主體由四部分組成請求網址解析網頁，形成可查找的格式通過或者查找需要的標簽通過代碼將多個內容合并在一起在這里構造一個兩層鏈接結構帖子的頁和帖子的詳情頁的關系在這里實現要注意，這里的是不包括在范圍里的

今天練習了抓取多頁天涯帖子，重點復習的知識包括

soup.find_all和soup.selcet兩個篩選方式對應不同的參數；

希望將獲取到的多個內容組合在一起返回的時候，要用"zip()"的代碼來實現；

兩層代碼結構之間的關系如何構造；

這里有一個疑問：有時候一個標簽可以有多個屬性，不知道soup.find_all()能不能接受不止一個屬性以縮小查找的范圍。

# 引入庫和請求頭文件
import requests
from bs4 import BeautifulSoup
headers = {
    "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36"
}

# 定義主體函數。函數主體由四部分組成：
#1.請求網址
#2.解析網頁，形成可查找的html格式
#3.通過soup.select或者sopu.find_all查找需要的標簽
#4.通過zip()代碼將多個內容合并在一起

def get_content(url):
    res = requests.get(url,headers = headers)
    res.encoding = "utf-8"
    soup = BeautifulSoup(res.text,"html.parser")
    contents = soup.find_all("div","bbs-content")
    authors = soup.find_all("a","js-vip-check")
    for author,content in zip(authors,contents):
        data = {
        "author":author.get_text().strip(),
        "content": content.get_text().strip()
    }
        print(data)
# 在這里構造一個兩層鏈接結構：帖子的1、2、3、4頁和帖子的詳情頁的關系在這里實現
if __name__ == "__main__":
    urls = ["http://bbs.tianya.cn/post-develop-2271894-{}.shtml".format(str(i))  for i in range (1,5)] # 要注意，這里的‘5’是不包括在范圍里的
    for url in urls:
        get_content(url)

云服務器 GPU云服務器爬蟲爬取數據 java爬蟲爬取數據深度學習練習機器學習練習題

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/41408.html

如何快速掌握Python數據采集與網絡爬蟲技術

摘要：通過本文的學習，可以快速掌握網絡爬蟲基礎，結合實戰練習，寫出一些簡單的爬蟲項目。從技術手段來說，網絡爬蟲有多種實現方案，如。二網絡爬蟲技術基礎在本次課中，將使用技術手段進行項目的編寫。摘要：本文詳細講解了python網絡爬蟲，并介紹抓包分析等技術，實戰訓練三個網絡爬蟲案例，并簡單補充了常見的反爬策略與反爬攻克手段。通過本文的學習，可以快速掌握網絡爬蟲基礎，結合實戰練習，寫出一些簡單的...

W4n9Hu1 2019-07-30 16:09 評論0 收藏0
零基礎如何學爬蟲技術

摘要：楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，。本文來源知乎作者路人甲鏈接楚江數據提供網站數據采集和爬蟲軟件定制開發服務，服務范圍涵蓋社交網絡電子商務分類信息學術研究等。楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，http://www.chujiangdata.com。第一：Python爬蟲學習系列教程（來源于某博主：htt...

KunMinX 2019-07-25 11:29 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
爬蟲 - 收藏集 - 掘金

摘要：在這之前，還是有必要對一些概念超輕量級反爬蟲方案后端掘金前言爬蟲和反爬蟲日益成為每家公司的標配系統。爬蟲修煉之道——從網頁中提取結構化數據并保存（以爬取糗百文本板塊所有糗事為例） - 后端 - 掘金歡迎大家關注我的專題：爬蟲修煉之道上篇爬蟲修煉之道——編寫一個爬取多頁面的網絡爬蟲主要講解了如何使用python編寫一個可以下載多頁面的爬蟲，如何將相對URL轉為絕對URL，如何限速，...

1fe1se 2019-07-31 10:58 評論0 收藏0
node爬蟲快速入門

摘要：爬蟲初入前端，剛剛接觸，對于耳聞已久的爬蟲非常神往，所以有了這篇文章，項目代碼在文章末尾需求抓取天涯論壇重慶地區板塊的文章列表信息。 node爬蟲初入前端，剛剛接觸node，對于耳聞已久的node爬蟲非常神往，所以有了這篇文章，項目代碼在文章末尾需求抓取天涯論壇重慶地區板塊的文章列表信息。使用工具 node.js superagent(客戶端請求代理模塊) cheerio...

simon_chen 2019-08-22 14:00 評論0 收藏0