spiderkeeper 部署&操作

Neilyo 發(fā)布于2019-07-30 15:39 / 1005人閱讀

摘要：前言最近發(fā)現(xiàn)了一個的庫這個庫的主要用途是在于配合這管理你的爬蟲支持一鍵式部署定時采集任務(wù)啟動暫停等一系列的操作簡單來說將的進(jìn)行封裝最大限度減少你跟命令行交互次數(shù)不得說這個是很棒的事情的連接環(huán)境配置由于是基于以上的版本兼容性較好所以我們需要的

前言

最近發(fā)現(xiàn)了一個spdierkeeper的庫,這個庫的主要用途是在于.配合這scrpyd管理你的爬蟲,支持一鍵式部署,定時采集任務(wù),啟動,暫停等一系列的操作.
簡單來說將scrapyd的api進(jìn)行封裝,最大限度減少你跟命令行交互次數(shù).不得說這個是很棒的事情.

https://github.com/DormyMo/Sp...  SpiderKeeper的github連接

環(huán)境配置

由于 scrapyd是基于python3+以上的版本兼容性較好,所以我們需要的環(huán)境為

python3.4+

scrapyd

scrapy & scrapy相關(guān)的庫

scrapy_reids 如果缺少這個在部署任務(wù)會報錯 (Reids.KeyErroe:"xxx"), xxx我們部署的任務(wù).

SpiderKeeper `pip install spiderkeeper" 就可以安裝.

啟動&配置

安裝完成之后,便可以啟動服務(wù)器了.博主本人使用的是ubuntu,所以就以ubuntu為例,win&macos進(jìn)本一樣.

單臺服務(wù)器

sudo spiderkeeper   
# 啟動單臺服務(wù)器,默認(rèn)啟動本地的 http://localhost:6800 scrapyd的服務(wù) | spiderkeeper的默認(rèn)端口為5000.

連接多臺scrapyd服務(wù)器.
在分布式中我們的服務(wù)器中肯定不止一臺,使用spiderkeeper可以很好的解決這個問題

sudo spiderkeeper --server=http://localhost:6800 --server=http://111.111.111.111:6800 
 #啟動一個spiderkeeper可以同時部署兩臺服務(wù)器的spider

更改用戶名&密碼&更改端口號

config.py 更改用戶名&密碼

# Statement for enabling the development environment
import os

DEBUG = True

# Define the application directory


BASE_DIR = os.path.abspath(os.path.dirname(__file__))

SQLALCHEMY_DATABASE_URI = "sqlite:///" + os.path.join(os.path.abspath("."), "SpiderKeeper.db")
SQLALCHEMY_TRACK_MODIFICATIONS = False
DATABASE_CONNECT_OPTIONS = {}

# Application threads. A common general assumption is
# using 2 per available processor cores - to handle
# incoming requests using one and performing background
# operations using the other.
THREADS_PER_PAGE = 2

# Enable protection agains *Cross-site Request Forgery (CSRF)*
CSRF_ENABLED = True

# Use a secure, unique and absolutely secret key for
# signing the data.
CSRF_SESSION_KEY = "secret"

# Secret key for signing cookies
SECRET_KEY = "secret"

# log
LOG_LEVEL = "INFO"

# spider services
SERVER_TYPE = "scrapyd"
SERVERS = ["http://localhost:6800"]

# basic auth 這里更改用戶名&密碼
NO_AUTH = False
BASIC_AUTH_USERNAME = "admin"
BASIC_AUTH_PASSWORD = "admin"
BASIC_AUTH_FORCE = True

run.py更改端口號

def parse_opts(config):
    parser = OptionParser(usage="%prog [options]",
                          description="Admin ui for spider service")
    parser.add_option("--host",
                      help="host, default:0.0.0.0", 
                      dest="host",
                      default="0.0.0.0")#bind ip 綁定ip 默認(rèn)全部人可以訪問
    parser.add_option("--port",
                      help="port, default:5000", 
                      dest="port",
                      type="int",
                      default=5000)#默認(rèn)端口號5000 可以根據(jù)你的需求設(shè)計
    parser.add_option("--username",
                      help="basic auth username ,default: %s" % config.get("BASIC_AUTH_USERNAME"),
                      dest="username",
                      default=config.get("BASIC_AUTH_USERNAME"))
    parser.add_option("--password",
                      help="basic auth password ,default: %s" % config.get("BASIC_AUTH_PASSWORD"),
                      dest="password",
                      default=config.get("BASIC_AUTH_PASSWORD"))
    parser.add_option("--type",
                      help="access spider server type, default: %s" % config.get("SERVER_TYPE"),
                      dest="server_type",
                      default=config.get("SERVER_TYPE"))
    parser.add_option("--server",
                      help="servers, default: %s" % config.get("SERVERS"),
                      dest="servers",
                      action="append",
                      default=[])
    parser.add_option("--database-url",
                      help="SpiderKeeper metadata database default: %s" % config.get("SQLALCHEMY_DATABASE_URI"),
                      dest="database_url",
                      default=config.get("SQLALCHEMY_DATABASE_URI"))

    parser.add_option("--no-auth",
                      help="disable basic auth",
                      dest="no_auth",
                      action="store_true")
    parser.add_option("-v", "--verbose",
                      help="log level",
                      dest="verbose",
                      action="store_true")
    return parser.parse_args()

部署&運(yùn)行

啟動scrapyd
使用scrapy-deploy將你的文件部署到你本地的服務(wù)器上面,你本地的scrapyd獲得相應(yīng)的 .egg文件.

python C:UsersdengyiAppDataLocalProgramsPythonPython36Scriptsscrapyd-deploy cqvip -p Cqvip

啟動 spiderkeeper博主這里是啟動了多個,進(jìn)入界面 http://localhost:5000

Deploy 部署,建立任務(wù)的第一步計入Deploy創(chuàng)建一個新的工程我們起名為test.

將我們的本地的egg文件上傳到到Deploy.

如果你是多臺服務(wù)器的話那么這一步便將你所有scrpayd上,部署Wangfang文件.

Dashboard 是儀表盤在這里你可以啟動你的spider跟監(jiān)控spider的運(yùn)行狀態(tài).

到這里一個完美的spiderkeeper就搭建成功啦.

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/41382.html

發(fā)表評論

登陸后可評論

0條評論

Neilyo

男|高級講師

我要關(guān)注我要私信

TA的文章

【歷史上的今天】10 月 12 日：C 語言之父逝世；西門子誕生；喬布斯推出 NeXT 電腦

閱讀 3488·2021-10-13 09:39
兒童故事書應(yīng)用軟件FarFaria暴露3M用戶數(shù)據(jù) 涉及290萬用戶信息

閱讀 1470·2021-10-08 10:05
騰訊開源百萬級服務(wù)發(fā)現(xiàn)和治理中心北極星

閱讀 2276·2021-09-26 09:56
網(wǎng)絡(luò)喚醒的配置好麻煩？沒關(guān)系這里有其他簡單的遠(yuǎn)程開機(jī)方法！

閱讀 2291·2021-09-03 10:28
玩轉(zhuǎn)CSS 3D -正八面體與正十二面體

閱讀 2690·2019-08-29 18:37
淺析git

閱讀 2049·2019-08-29 17:07
vue入門筆記體系（六）vue組件

閱讀 611·2019-08-29 16:23
video.js 源碼分析（JavaScript）

閱讀 2200·2019-08-29 11:24

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

spiderkeeper 部署&操作

前言

環(huán)境配置

啟動&配置

更改用戶名&密碼&更改端口號

部署&運(yùn)行

相關(guān)文章

**Scrapy-Cluster結(jié)合Spiderkeeper管理分布式爬蟲**

scrapyd部署爬蟲項目到LINUX服務(wù)器

基于Celery的分布式爬蟲管理平臺: Crawlab

利用Python實現(xiàn)自動化監(jiān)控文件夾完成服務(wù)部署

Gitlab CI/CD執(zhí)行流程

發(fā)表評論

0條評論

Neilyo

男|高級講師

TA的文章

【歷史上的今天】10 月 12 日：C 語言之父逝世；西門子誕生；喬布斯推出 NeXT 電腦

兒童故事書應(yīng)用軟件FarFaria暴露3M用戶數(shù)據(jù) 涉及290萬用戶信息

騰訊開源百萬級服務(wù)發(fā)現(xiàn)和治理中心北極星

網(wǎng)絡(luò)喚醒的配置好麻煩？沒關(guān)系這里有其他簡單的遠(yuǎn)程開機(jī)方法！

玩轉(zhuǎn)CSS 3D -正八面體與正十二面體

淺析git

vue入門筆記體系（六）vue組件

video.js 源碼分析（JavaScript）

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

spiderkeeper 部署&操作

前言

環(huán)境配置

啟動&配置

更改用戶名&密碼&更改端口號

部署&運(yùn)行

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！