国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專(zhuān)欄INFORMATION COLUMN

python3.6+scrapy+mysql 爬蟲(chóng)實(shí)戰(zhàn)

microelec / 1927人閱讀

摘要：最近閑著，把之前寫(xiě)的小爬蟲(chóng)分享一下，才疏學(xué)淺，僅當(dāng)參考。項(xiàng)目地址爬蟲(chóng)實(shí)戰(zhàn)

最近閑著，把之前寫(xiě)的小爬蟲(chóng)分享一下，才疏學(xué)淺，僅當(dāng)參考。

[介紹文檔] 
    python版本：python3.6
    scrapy: 1.5.0
    需要安裝pymysql包支持訪問(wèn)mysql數(shù)據(jù)庫(kù)
    可以使用pip安裝： pip install pymysql
重要提示 
*或者按照下述方法執(zhí)行一鍵安裝依賴(lài)：pip install -r requirements.txt

*重要事情說(shuō)三遍：請(qǐng)確保你安裝了mysql數(shù)據(jù)庫(kù)！ 請(qǐng)確保你安裝了mysql數(shù)據(jù)庫(kù)！ 請(qǐng)確保你安裝了mysql數(shù)據(jù)庫(kù)！

*所有平臺(tái)的Mysql下載地址為： https://dev.mysql.com/downloads/挑選你需要的 MySQL Community Server 版本及對(duì)應(yīng)的平臺(tái)。
爬蟲(chóng)工作配置

第一步：下載github項(xiàng)目文件

git clone git@github.com:caffreycc/jb51.com_crawler.git

或者直接到https://github.com/caffreycc/jb51.com_crawler.git 下載zip文件
* 第二步：安裝依賴(lài):

pip install -r requirements.txt

第三步：修改配置Config.py:

    Config.py 為項(xiàng)目配置文件

    host = "127.0.0.1" #改成你的數(shù)據(jù)庫(kù)地址，如果需要保存在線服務(wù)器請(qǐng)?zhí)顚?xiě)數(shù)據(jù)庫(kù)IP
    dbname = "your database naem"  # 數(shù)據(jù)庫(kù)名字，請(qǐng)修改
    user = "your databse user"  # 數(shù)據(jù)庫(kù)賬號(hào)，請(qǐng)修改
    psw = "your password"  # 數(shù)據(jù)庫(kù)密碼，請(qǐng)修改
    port = 3306  # 數(shù)據(jù)庫(kù)端口，在dbhelper中使用,一般無(wú)需修改

第四步：運(yùn)行小爬蟲(chóng)

    命令行cd到你的項(xiàng)目文件夾，運(yùn)行以下命令：
    或者直接在你的爬蟲(chóng)文件夾內(nèi)shift + 右鍵 打開(kāi)命令提示符或者powershell，運(yùn)行以下命令
    scrapy crawl Common_crawler

    爬取的內(nèi)容會(huì)自動(dòng)保存到 config.py 中配置的mysql數(shù)據(jù)庫(kù)中
問(wèn)題反饋

　　有任何關(guān)于項(xiàng)目的問(wèn)題歡迎提issues

貢獻(xiàn)代碼 
本項(xiàng)目基于PythonCrawler-Scrapy-Mysql-File-Template開(kāi)發(fā)，感謝作者@lawlite19（https://github.com/lawlite19）的開(kāi)源分享精神。

項(xiàng)目地址： python3.6+scrapy+mysql 爬蟲(chóng)實(shí)戰(zhàn)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/41730.html

相關(guān)文章

  • 首次公開(kāi)，整理12年積累的博客收藏夾，零距離展示《收藏夾吃灰》系列博客

    摘要：時(shí)間永遠(yuǎn)都過(guò)得那么快，一晃從年注冊(cè)，到現(xiàn)在已經(jīng)過(guò)去了年那些被我藏在收藏夾吃灰的文章，已經(jīng)太多了，是時(shí)候把他們整理一下了。那是因?yàn)槭詹貖A太亂，橡皮擦給設(shè)置私密了，不收拾不好看呀。 ...

    Harriet666 評(píng)論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---10、爬蟲(chóng)框架的安裝：PySpider、Scrapy

    摘要：所以如果對(duì)爬蟲(chóng)有一定基礎(chǔ)，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬取相關(guān)庫(kù)的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)爬蟲(chóng)框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---9、APP爬取相關(guān)庫(kù)的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲(chóng)實(shí)戰(zhàn)---11、爬蟲(chóng)框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

    張憲坤 評(píng)論0 收藏0

  • 非計(jì)算機(jī)專(zhuān)業(yè)小白自學(xué)爬蟲(chóng)全指南（附資源）

    摘要：爬蟲(chóng)是我接觸計(jì)算機(jī)編程的入門(mén)。練練練本文推薦的資源就是以項(xiàng)目練習(xí)帶動(dòng)爬蟲(chóng)學(xué)習(xí)，囊括了大部分爬蟲(chóng)工程師要求的知識(shí)點(diǎn)。拓展閱讀一文了解爬蟲(chóng)與反爬蟲(chóng)最后，請(qǐng)注意，爬蟲(chóng)的工作機(jī)會(huì)相對(duì)較少。 爬蟲(chóng)是我接觸計(jì)算機(jī)編程的入門(mén)。哥當(dāng)年寫(xiě)第一行代碼的時(shí)候別提有多痛苦。 本文旨在用一篇文章說(shuō)透爬蟲(chóng)如何自學(xué)可以達(dá)到找工作的要求。 爬蟲(chóng)的學(xué)習(xí)就是跟著實(shí)際項(xiàng)目去學(xué)，每個(gè)項(xiàng)目會(huì)涉及到不同的知識(shí)點(diǎn)，項(xiàng)目做多了，自然...

    CarlBenjamin 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<