大快搜索數(shù)據(jù)爬蟲(chóng)技術(shù)實(shí)例安裝教學(xué)篇

PingCAP 發(fā)布于2019-08-16 13:36 / 2413人閱讀

摘要：大快搜索數(shù)據(jù)爬蟲(chóng)技術(shù)實(shí)例安裝教學(xué)篇爬蟲(chóng)安裝前準(zhǔn)備工作大快大數(shù)據(jù)平臺(tái)安裝完成等組件安裝啟動(dòng)成功。

爬蟲(chóng)安裝前準(zhǔn)備工作：大快大數(shù)據(jù)平臺(tái)安裝完成、zookeeper、redis、elasticsearch、mysql等組件安裝啟動(dòng)成功。

1、修改爬蟲(chóng)安裝配置文件(最好在線下修改好后再上傳平臺(tái))

2、修改crawlerdkcrwjdbc.properties配置文件(只修改圖片里的內(nèi)容其他內(nèi)容默認(rèn)即可)

Hbase.zookeeper.quorum所填地址應(yīng)在DKM監(jiān)控平臺(tái)查看：

Redis相關(guān)配置看如下界面：

3、把已修改的crawlerdkcrw下的jdbc.properties配置文件替換到crawlerdkcrw-tomcat-7.0.56webappsROOTWEB-INFclasses下(這下面有一個(gè)沒(méi)有改好的直接替換)

修改好后把修改好的爬蟲(chóng)文件打壓成壓縮文件
4、上傳平臺(tái)主節(jié)點(diǎn)并解壓(這里就不介紹怎么上傳了的了,本次例子是上傳到root目錄下,安裝包上傳到任何目錄下都可以推選root目錄)

unzip 解壓命令,解壓唱功后會(huì)多了一個(gè) cuawler 的文件夾

使用cd crawler 命令進(jìn)入 crawler 文件夾下

使用mysql -uroot -p123456 < numysql.sql 命令添加numysql.sql數(shù)據(jù)庫(kù)

5、分發(fā)爬蟲(chóng)文件

每個(gè)節(jié)點(diǎn)都需要有dkcrw文件, dkcrw-tomcat-7.0.56文件只能放在一個(gè)節(jié)點(diǎn)上,不能放在主節(jié)點(diǎn)上(推選放在從節(jié)點(diǎn))
命令:
scp -r {要分發(fā)的文件名可填寫(xiě)多個(gè),如果不在要分發(fā)文件的目錄下請(qǐng)?zhí)砑勇窂絵 {分發(fā)到的服務(wù)器ip或名稱:分發(fā)到的路徑}
例如:
cd /opt/dkh
scp -r dkcrw dk2:/opt/dkh/
scp -r dkcrw dkcrw-tomcat-7.0.56/ dk2:/opt/dkh/

6、在分發(fā)了dkcrw-tomcat-7.0.56文件的節(jié)點(diǎn)上給文件添加權(quán)限
命令:
chmod -R 755 {需要給權(quán)限的文件等}
例如:
cd /opt/dkh
chmod -R 755 dkcrw dkcrw-tomcat-7.0.56/

7、啟動(dòng)爬蟲(chóng)界面
命令:
cd /opt/dkh/dkcrw-tomcat-7.0.56/bin/
./startup.sh

啟動(dòng)界面之后再瀏覽器中輸入啟動(dòng)界面節(jié)點(diǎn)的IP,來(lái)打開(kāi)爬蟲(chóng)界面看是否啟動(dòng)成功(賬號(hào)密碼是默認(rèn)的)

8、啟動(dòng)每個(gè)節(jié)點(diǎn)的dkcrw.jar
命令:
主節(jié)點(diǎn)運(yùn)行
cd /opt/dkh/dkcrw/
nohup java -jar dkcrw.jar master > dkcrw.log 2>&1 &

從節(jié)點(diǎn)運(yùn)行
cd /opt/dkh/dkcrw/
nohup java -jar dkcrw.jar slave > dkcrw.log 2>&1 &

注意：可以先使用前臺(tái)啟動(dòng)爬蟲(chóng)，確定爬蟲(chóng)沒(méi)錯(cuò)誤。
前臺(tái)啟動(dòng)命令java -jar dkcrw.jar master/slave