摘要:免費領取驗證碼內容安全短信發送直播點播體驗包及云服務器等套餐更多網易技術產品運營經驗分享請訪問網易云社區。文章來源網易云社區
本文由作者余寶虹授權網易云社區發布。
使用戶ndp部署一個Java應用大家都非常熟悉的,但是看到某些同學用非常繁瑣的方式部署storm應用的時候,我覺得很有必要整一個幫助教程,ndp幫助文檔里面沒有,ks論壇上也沒有找到,借這個契機對這個問題做一個簡短的使用說明。
首先看看原始的部署storm的方式:
步驟一:切換到目標git分支,在應用目錄下執行mvn clean package -Dmaven.test.skip=true 來打包;
步驟二:將打包后的jar包上傳到服務端;
步驟三:在服務器終端執行啟動命令。
上面的步驟非常的繁瑣,需要服務器的權限,需要vpn,如果事先沒有提單申請的話,還必須花點時間等待這個權限下來,除此之外還要使用NC,SCP,Python SimpleHTTPServer或者圖像化的ftp工具Filezilla等上傳應用到服務器。有沒有有更好更簡潔快速的方式的呢,一步搞定呢?答案是肯定的,ndp已經為我們提供了相關的功能。
如何去做呢,搭建一鍵化的storm部署環境有下面幾個步驟,具體步驟如下(和常規應用部署相同的步驟請參考ndp的使用說明文檔):
步驟一:在模塊根目錄下面創建三個目錄,分別是online,qa,test,分別對應三套環境中的啟動,停止腳本放入對應的目錄下面;
start.sh 腳本內容如下:
!/bin/bashSTORM_HOME=/home/nisp/apache-storm-bin
$STORM_HOME/bin/storm jar /home/nisp/storm-job/risk-detect/risk-storm-jar-with-dependencies.jar com.netease.is.storm.StormRunner risk_detect_topology test
stop.sh 腳本內容如下:
!/bin/bashSTORM_HOME=/home/nisp/apache-storm-bin
$STORM_HOME/bin/storm kill risk_detect_topology
步驟二:集群配置中選擇應用類型,請選擇“自定義”選項,其它使用默認值即可;
步驟三:構建配置中,build.xml選項選擇“自定義提交”,并將如下的ant腳本復制粘貼進去
上面的ant腳本中指定了啟動,停止storm應用腳本的目錄位置,這個和步驟一描述的代碼結構保持一致。
步驟四:發布配置選擇第一模板,并填寫腳本的執行路徑(ndp可以執行)
注意:上述命令使用ndp執行時,ndp會使用下面的范式
nohup ${START_CMD} >/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log 2>>/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log.err &
如果start_cmd填寫的是符合命令(包含&&或者;)的話就會提示類似“nohup: failed to run command cd": No such file or directory”的異常,直接在服務器終端是可以正常執行的,這是因為使用ndp后,ndp將范式改造為nohup ${START_CMD}` >/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log 2>>/home/nisp/risk-detect-storm/risk-detect-storm-test/risk-detect-storm-test/approot/logs/app.log.err &后才可以使用符合命令,就現在而言復雜的命令可以都寫在腳本里面,外面使用簡單命令。
完成上面的四個步驟以后就可以直接通過ndp構建發布storm應用了,發布構建和普通java項目一樣,這里就不贅述了。
還在用原始方法的同學,改造起來吧,借助ndp每次5分鐘變5s鐘不是夢,省下的時間去做些更有意義的事情吧。
免費領取驗證碼、內容安全、短信發送、直播點播體驗包及云服務器等套餐
更多網易技術、產品、運營經驗分享請訪問網易云社區。
文章來源: 網易云社區
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/25361.html
摘要:項目地址前言大數據技術棧思維導圖大數據常用軟件安裝指南一分布式文件存儲系統分布式計算框架集群資源管理器單機偽集群環境搭建集群環境搭建常用命令的使用基于搭建高可用集群二簡介及核心概念環境下的安裝部署和命令行的基本使用常用操作分區表和分桶表視圖 項目GitHub地址:https://github.com/heibaiying... 前 言 大數據技術棧思維導圖 大數據常用軟件安裝指...
摘要:年發表了基于和存儲的大規模實時推薦系統實現了一系列經典推薦算法的實時版本實現了數種實時算法提高推薦精度廣泛應用于業務有效提高騰訊采用使用原因,支持實時數據流式計算,良好的可擴展性可容錯性,采用簡單編程模型。 1.實時推薦系統與相關工作 1.1 原因 實時計算能夠及時捕獲用戶短時興趣,同時能夠快速反饋分發當前系統的用戶興趣內容。大量實踐以及發表的文章都顯示了推薦系統實時化,對推薦精準度的...
閱讀 3546·2021-11-22 11:59
閱讀 950·2021-09-27 13:36
閱讀 3612·2021-09-24 09:47
閱讀 2260·2021-09-01 11:39
閱讀 979·2021-08-31 09:37
閱讀 2311·2021-08-05 10:01
閱讀 1673·2019-08-30 15:55
閱讀 701·2019-08-30 15:54