国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---14、部署相關(guān)庫的安裝：Scrapyrt、Gerapy

nihao / 2128人閱讀

摘要：相關(guān)鏈接官方文檔安裝推薦使用安裝，命令如下命令執(zhí)行完畢之后即可完成安裝。的安裝是一個(gè)分布式管理模塊，本節(jié)來介紹一下的安裝方式。如果沒有錯(cuò)誤報(bào)出，則證明庫已經(jīng)安裝好了。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲基礎(chǔ)基本原理

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---13、部署相關(guān)庫ScrapydClient、ScrapydAPI
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---15、爬蟲基礎(chǔ)：HTTP基本原理
Scrapyrt的安裝

Scrapyrt 為 Scrapy 提供了一個(gè)調(diào)度的 HTTP 接口，有了它我們不需要再執(zhí)行 Scrapy 命令而是通過請求一個(gè) HTTP 接口即可調(diào)度 Scrapy 任務(wù)，Scrapyrt 比 Scrapyd 輕量級，如果不需要分布式多任務(wù)的話可以簡單使用 Scrapyrt 實(shí)現(xiàn)遠(yuǎn)程 Scrapy 任務(wù)的調(diào)度。

1. 相關(guān)鏈接

GitHub：https://github.com/scrapinghu...

官方文檔：http://scrapyrt.readthedocs.io

2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install scrapyrt

命令執(zhí)行完畢之后即可完成安裝。

接下來在任意一個(gè) Scrapy 項(xiàng)目中運(yùn)行如下命令即可啟動(dòng) HTTP 服務(wù)：

scrapyrt

運(yùn)行之后會(huì)默認(rèn)在 9080 端口上啟動(dòng)服務(wù)，類似的輸出結(jié)果如下：

scrapyrt
2017-07-12 22:31:03+0800 [-] Log opened.
2017-07-12 22:31:03+0800 [-] Site starting on 9080
2017-07-12 22:31:03+0800 [-] Starting factory

如果想更換運(yùn)行端口可以使用 -p 參數(shù)，如：

scrapyrt -p 9081

這樣就會(huì)在 9081 端口上運(yùn)行了。

3. Docker安裝

另外 Scrapyrt 也支持 Docker，如想要在 9080 端口上運(yùn)行，且本地 Scrapy 項(xiàng)目的路徑為 /home/quotesbot，可以使用如下命令運(yùn)行：

docker run -p 9080:9080 -tid -v /home/user/quotesbot:/scrapyrt/project scrapinghub/scrapyrt

這樣同樣可以在 9080 端口上監(jiān)聽指定的 Scrapy 項(xiàng)目。

Gerapy的安裝

Gerapy 是一個(gè) Scrapy 分布式管理模塊，本節(jié)來介紹一下 Gerapy 的安裝方式。

1. 相關(guān)鏈接 
GitHub：https://github.com/Gerapy
2. Pip安裝

推薦使用 Pip 安裝，命令如下：

pip3 install gerapy
3. 測試安裝

安裝完成之后，可以在 Python 命令行下測試。

$ python3
>>> import gerapy

如果沒有錯(cuò)誤報(bào)出，則證明庫已經(jīng)安裝好了。

上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---13、部署相關(guān)庫ScrapydClient、ScrapydAPI
下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---15、爬蟲基礎(chǔ)：HTTP基本原理

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/44059.html

相關(guān)文章

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---13、部署相關(guān)庫ScrapydClient、ScrapydAPI

    摘要：相關(guān)鏈接使用說明安裝推薦使用安裝，命令如下驗(yàn)證安裝安裝成功后會(huì)有一個(gè)可用命令，叫做，即部署命令。我們可以輸入如下測試命令測試是否安裝成功如果出現(xiàn)如圖類似輸出則證明已經(jīng)成功安裝圖運(yùn)行結(jié)果在后文我們會(huì)詳細(xì)了解它的用法。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---14、部署相關(guān)庫的安裝：Scra...

    lolomaco 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---15、爬蟲基礎(chǔ)：HTTP基本原理

    摘要：上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)網(wǎng)頁基礎(chǔ)在寫爬蟲之前，還是需要了解一些爬蟲的基礎(chǔ)知識(shí)，如原理網(wǎng)頁的基礎(chǔ)知識(shí)爬蟲的基本原理基本原理等。由萬維網(wǎng)協(xié)會(huì)和工作小組共同合作制定的規(guī)范，目前廣泛使用的是版本。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---14、部署相關(guān)庫的安裝：Scrapyrt、Gerapy下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---16、Web網(wǎng)頁基礎(chǔ)...

    codeGoogle 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd

    摘要：阿里云安裝腳本安裝腳本兩個(gè)腳本可以任選其一，速度都非常不錯(cuò)。推薦的加速器有和阿里云。阿里云不同平臺(tái)的鏡像加速方法配置可以參考的官方文檔。以上便是的安裝方式說明。上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---...

    ityouknow 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy

    摘要：所以如果對爬蟲有一定基礎(chǔ)，上手框架是一種好的選擇。缺少包，使用安裝即可缺少包，使用安裝即可上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬取相關(guān)庫的安裝的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---9、APP爬取相關(guān)庫的安裝：Appium的安裝下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedis 我們直接...

    張憲坤 評論0 收藏0

  • Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---11、爬蟲框架的安裝：ScrapySplash、ScrapyRedi

    摘要：上一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)爬蟲框架的安裝下一篇文章網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)部署相關(guān)庫的安裝的安裝是一個(gè)中支持渲染的工具，本節(jié)來介紹一下它的安裝方式。另外一個(gè)是的庫的安裝，安裝之后即可在中使用服務(wù)。 上一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---10、爬蟲框架的安裝：PySpider、Scrapy下一篇文章：Python3網(wǎng)絡(luò)爬蟲實(shí)戰(zhàn)---12、部署相關(guān)庫的安裝：Docker、Scrapyd Scrap...

    harryhappy 評論0 收藏0

發(fā)表評論

0條評論

最新活動(dòng)
閱讀需要支付1元查看
<