爬蟲入門實戰（一）

FrozenMap 發布于2019-07-30 17:05 / 760人閱讀

摘要：爬蟲入門實戰一請求方式爬取肯德基配送地址解析，通過方式準確發送信息是本次爬蟲實戰的重難點。

python爬蟲入門實戰（一）

post請求方式爬取肯德基配送地址

解析url，通過post方式準確發送data信息是本次爬蟲實戰的重難點。代碼如下：

# 肯德基店鋪位置案例
"""
需求:根據用戶輸入的頁碼的起始位置，
把每頁的餐廳信息存儲到一個獨立的json文件中
"""

from urllib import request
from urllib import parse
import json

post_url = "http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname"

start_page = int(input("請輸入起始頁:"))
end_page = int(input("請輸入結束頁:"))

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"
}

for page in range(start_page, end_page + 1):
    p = str(page)

    data = {
        "cname": "北京",
        "pid": "",
        "pageIndex": p,
        "pageSize": "10"
    }

    data = parse.urlencode(data).encode("utf-8")

    req = request.Request(url=post_url,
                          data=data,
                          headers=headers)

    response = request.urlopen(req)

    content = response.read().decode("utf-8")

    # 保存為本地json文件
    filename = "data/KFC/{}.json".format(p)

    json.dump(content, open(filename, "w", encoding="utf-8"),
              ensure_ascii=False)

由于比較簡單，我就不多解釋了，，，關掉電腦，，，今天的修行到此結束。。。

GPU云服務器云服務器爬蟲實戰網絡爬蟲實戰 scrapy爬蟲實戰 python爬蟲實戰

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/42001.html

零基礎如何學爬蟲技術

摘要：楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，。本文來源知乎作者路人甲鏈接楚江數據提供網站數據采集和爬蟲軟件定制開發服務，服務范圍涵蓋社交網絡電子商務分類信息學術研究等。楚江數據是專業的互聯網數據技術服務，現整理出零基礎如何學爬蟲技術以供學習，http://www.chujiangdata.com。第一：Python爬蟲學習系列教程（來源于某博主：htt...

KunMinX 2019-07-25 11:29 評論0 收藏0
Python爬蟲學習路線

摘要：以下這些項目，你拿來學習學習練練手。當你每個步驟都能做到很優秀的時候，你應該考慮如何組合這四個步驟，使你的爬蟲達到效率最高，也就是所謂的爬蟲策略問題，爬蟲策略學習不是一朝一夕的事情，建議多看看一些比較優秀的爬蟲的設計方案，比如說。（一）如何學習Python 學習Python大致可以分為以下幾個階段： 1.剛上手的時候肯定是先過一遍Python最基本的知識，比如說：變量、數據結構、語法...

liaoyg8023 2019-07-31 10:27 評論0 收藏0
首次公開，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

摘要：時間永遠都過得那么快，一晃從年注冊，到現在已經過去了年那些被我藏在收藏夾吃灰的文章，已經太多了，是時候把他們整理一下了。那是因為收藏夾太亂，橡皮擦給設置私密了，不收拾不好看呀。 ...

Harriet666 2021-09-10 10:51 評論0 收藏0
爬蟲requests模塊入門到入獄：基礎知識+實戰分析

?????? ???Hello，大家好我叫是Dream呀，一個有趣的Python博主，小白一枚，多多關照??? ???CSDN Python領域新星創作者，大二在讀，歡迎大家找我合作學習 ?入門須知：這片樂園從不缺乏天才，努力才是你的最終入場券！??? ?最后，愿我們都能在看不到的地方閃閃發光，一起加油進步??? ???一萬次悲傷，依然會有Dream，我一直在最溫暖的地方等你，唱的就是我！哈哈哈~...

yagami 2021-11-24 09:39 評論0 收藏0