爬蟲平臺Crawlab v0.2發(fā)布

yiliang 發(fā)布于2019-07-31 10:24 / 1890人閱讀

摘要：是一個專注于爬蟲的集成了爬蟲管理任務(wù)調(diào)度任務(wù)監(jiān)控?cái)?shù)據(jù)分析等模塊的分布式爬蟲管理平臺，非常適合對爬蟲管理爬蟲工程化有要求的開發(fā)者及企業(yè)。從目前開源的框架來看，大部分爬蟲平臺是以為核心，因此只能支持框架的爬蟲，而不僅支持，還支持其他框架的爬蟲。

Crawlab是一個專注于爬蟲的集成了爬蟲管理、任務(wù)調(diào)度、任務(wù)監(jiān)控、數(shù)據(jù)分析等模塊的分布式爬蟲管理平臺，非常適合對爬蟲管理、爬蟲工程化有要求的開發(fā)者及企業(yè)。對Crawlab還不了解的童鞋，請移步之前的文章:

分布式通用爬蟲管理平臺Crawlab

手把手教你如何用Crawlab構(gòu)建技術(shù)文章聚合平臺(一)

手把手教你如何用Crawlab構(gòu)建技術(shù)文章聚合平臺(二)

Crawlab的任務(wù)調(diào)度核心模塊是基于Celery的，因此天然支持分布式爬蟲、多節(jié)點(diǎn)抓取。Crawlab雖然是用python寫的，但爬蟲不局限于python爬蟲，理論上可兼容任何語言以及任何框架。從目前開源的框架來看，大部分爬蟲平臺是以scrapyd為核心，因此只能支持scrapy框架的爬蟲，而Crawlab不僅支持scrapy，還支持其他框架的爬蟲。

更新一覽 v0.2 已完成

[x] 基礎(chǔ)統(tǒng)計(jì)

[x] 數(shù)據(jù)分析（爬蟲）

[x] 網(wǎng)站信息

[x] 定時任務(wù)

[x] 修復(fù)bug

待開發(fā)

[ ] 用戶管理

[ ] 上傳爬蟲

[ ] 導(dǎo)出數(shù)據(jù)

[ ] 高級數(shù)據(jù)分析（網(wǎng)站、任務(wù)）

[ ] 更多爬蟲例子

[ ] 文件管理

截屏

基礎(chǔ)統(tǒng)計(jì)（爬蟲）

基礎(chǔ)統(tǒng)計(jì)（任務(wù)）

定時任務(wù)

網(wǎng)站信息

__Github__: tikazyq/crawlab

如果感覺Crawlab還不錯的話，請加作者微信拉入開發(fā)交流群，大家一起交流關(guān)于Crawlab的使用和開發(fā)。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/43759.html

相關(guān)文章

[爬蟲手記] 我是如何在3分鐘內(nèi)開發(fā)完一個爬蟲的

摘要：前言開發(fā)爬蟲是一件有趣的事情。的可配置爬蟲是基于的，因此天生是支持并發(fā)的。遵守協(xié)議這個默認(rèn)是開啟的。的可配置爬蟲降低了爬蟲的開發(fā)時間，增加了爬蟲開發(fā)效率，完善了工程化水平，將爬蟲工程師從日常的繁瑣配置工作中解放出來。前言開發(fā)爬蟲是一件有趣的事情。寫一個程序，對感興趣的目標(biāo)網(wǎng)站發(fā)起HTTP請求，獲取HTML，解析HTML，提取數(shù)據(jù)，將數(shù)據(jù)保存到數(shù)據(jù)庫或者存為CSV、JSON等格式，再...

sushi 2019-07-31 10:28 評論0 收藏0
[爬蟲手記] 我是如何在3分鐘內(nèi)開發(fā)完一個爬蟲的

摘要：前言開發(fā)爬蟲是一件有趣的事情。的可配置爬蟲是基于的，因此天生是支持并發(fā)的。的可配置爬蟲降低了爬蟲的開發(fā)時間，增加了爬蟲開發(fā)效率，完善了工程化水平，將爬蟲工程師從日常的繁瑣配置工作中解放出來。前言開發(fā)爬蟲是一件有趣的事情。寫一個程序，對感興趣的目標(biāo)網(wǎng)站發(fā)起HTTP請求，獲取HTML，解析HTML，提取數(shù)據(jù)，將數(shù)據(jù)保存到數(shù)據(jù)庫或者存為CSV、JSON等格式，再用自己熟悉的語言例如Python對...

YorkChen 2019-05-27 17:40 評論0 收藏0
基于Celery的分布式爬蟲管理平臺: Crawlab

摘要：基于的爬蟲分布式爬蟲管理平臺，支持多種編程語言以及多種爬蟲框架。后臺程序會自動發(fā)現(xiàn)這些爬蟲項(xiàng)目并儲存到數(shù)據(jù)庫中。每一個節(jié)點(diǎn)需要啟動應(yīng)用來支持爬蟲部署。任務(wù)將以環(huán)境變量的形式存在于爬蟲任務(wù)運(yùn)行的進(jìn)程中，并以此來關(guān)聯(lián)抓取數(shù)據(jù)。 Crawlab 基于Celery的爬蟲分布式爬蟲管理平臺，支持多種編程語言以及多種爬蟲框架。 Github: https://github.com/tikazyq/...

legendaryedu 2019-07-31 10:08 評論0 收藏0
手把手教你如何用Crawlab構(gòu)建技術(shù)文章聚合平臺(一)

摘要：本文將介紹如何使用和抓取主流的技術(shù)博客文章，然后用搭建一個小型的技術(shù)文章聚合平臺。是谷歌開源的基于和的自動化測試工具，可以很方便的讓程序模擬用戶的操作，對瀏覽器進(jìn)行程序化控制。相對于，是新的開源項(xiàng)目，而且是谷歌開發(fā)，可以使用很多新的特性。背景說到爬蟲，大多數(shù)程序員想到的是scrapy這樣受人歡迎的框架。scrapy的確不錯，而且有很強(qiáng)大的生態(tài)圈，有g(shù)erapy等優(yōu)秀的可視化界面。但...

LinkedME2016 2019-08-23 15:57 評論0 收藏0
手把手教你如何用Crawlab構(gòu)建技術(shù)文章聚合平臺(一)

摘要：本文將介紹如何使用和抓取主流的技術(shù)博客文章，然后用搭建一個小型的技術(shù)文章聚合平臺。是谷歌開源的基于和的自動化測試工具，可以很方便的讓程序模擬用戶的操作，對瀏覽器進(jìn)行程序化控制。相對于，是新的開源項(xiàng)目，而且是谷歌開發(fā)，可以使用很多新的特性。背景說到爬蟲，大多數(shù)程序員想到的是scrapy這樣受人歡迎的框架。scrapy的確不錯，而且有很強(qiáng)大的生態(tài)圈，有g(shù)erapy等優(yōu)秀的可視化界面。但...

Jeffrrey 2019-07-31 10:10 評論0 收藏0