摘要:底層通訊方案優(yōu)化升級較新版本,由方案調(diào)整為方案,執(zhí)行器內(nèi)嵌提供服務(wù),調(diào)度中心復(fù)用容器端口提供服務(wù)任務(wù)告警邏輯調(diào)整,改為通過掃描失敗日志方式觸發(fā)。
v2.0.2 Release Notes
1、底層通訊方案優(yōu)化:升級較新版本xxl-rpc,由"JETTY"方案調(diào)整為"NETTY_HTTP"方案,執(zhí)行器內(nèi)嵌netty-http-server提供服務(wù),調(diào)度中心復(fù)用容器端口提供服務(wù);
2、任務(wù)告警邏輯調(diào)整,改為通過掃描失敗日志方式觸發(fā)。一方面精確掃描失敗任務(wù),降低掃描范圍;另一方面取消內(nèi)存隊列,降低線程內(nèi)存消耗;
3、Quartz觸發(fā)線程池廢棄并替換為 "XxlJobThreadPool",降低線程切換、內(nèi)存占用帶來的消耗,提高調(diào)度性能;
4、調(diào)度線程池隔離,拆分為"Fast"和"Slow"兩個線程池,1分鐘窗口期內(nèi)任務(wù)耗時達(dá)500ms超過10次,該窗口期內(nèi)判定為慢任務(wù),慢任務(wù)自動降級進(jìn)入"Slow"線程池,避免耗盡調(diào)度線程,提高系統(tǒng)穩(wěn)定性;
5、執(zhí)行器熱部署時JobHandler重新初始化,修復(fù)由此導(dǎo)致的 "jobhandler naming conflicts." 問題;
6、新增Class的加載緩存,解決頻繁加載Class會使jvm的方法區(qū)空間不足導(dǎo)致OOM的問題;
7、任務(wù)支持更換綁定執(zhí)行器,方便任務(wù)分組轉(zhuǎn)移和管理;
8、調(diào)度中心告警郵件發(fā)送組件改為 “spring-boot-starter-mail”;
9、記住密碼功能優(yōu)化,選中時永久記住;非選中時關(guān)閉瀏覽器即登出;
10、項目依賴升級至較新穩(wěn)定版本,如quartz、spring、jackson、groovy、xxl-rpc等等;
11、精簡項目,取消第三方依賴,如 commons-collections4、commons-lang3 ;
12、執(zhí)行器回調(diào)日志落盤方案復(fù)用RPC序列化方案,并移除Jackson依賴;
13、底層Log調(diào)優(yōu),應(yīng)用正常終止取消異常棧信息打印;
14、交互優(yōu)化,盡量避免新開頁面窗口;僅WebIDE支持新開頁,并提供窗口快速關(guān)閉按鈕;任務(wù)啟、停、刪除、觸發(fā)等輕操作提示改為toast方式,
15、任務(wù)暫停、刪除優(yōu)化,避免quartz delete不完整導(dǎo)致任務(wù)臟數(shù)據(jù);
16、任務(wù)回調(diào)、心跳注冊成功日志優(yōu)化,非核心常規(guī)日志調(diào)整為debug級別,降低冗余日志輸出;
17、調(diào)整首頁報表默認(rèn)區(qū)間為本周,避免日志量太大查詢緩慢;
18、LRU路由更新不及時問題修復(fù);
19、任務(wù)失敗告警郵件發(fā)送邏輯優(yōu)化;
20、調(diào)度日志排序邏輯調(diào)整為按照調(diào)度時間倒序,兼容TIDB等主鍵不連續(xù)日志存儲組件;
21、執(zhí)行器優(yōu)雅停機優(yōu)化;
22、連接池配置優(yōu)化,增強連接有效性驗證;
23、JobHandler#msg長度限制,修復(fù)異常情況下日志超長導(dǎo)致內(nèi)存溢出的問題;
24、升級xxl-rpc至較新版本,修復(fù)springboot 2.x版本兼容性問題;
簡介XXL-JOB是一個輕量級分布式任務(wù)調(diào)度平臺,其核心設(shè)計目標(biāo)是開發(fā)迅速、學(xué)習(xí)簡單、輕量級、易擴展。現(xiàn)已開放源代碼并接入多家公司線上產(chǎn)品線,開箱即用。
特性1、簡單:支持通過Web頁面對任務(wù)進(jìn)行CRUD操作,操作簡單,一分鐘上手;
2、動態(tài):支持動態(tài)修改任務(wù)狀態(tài)、啟動/停止任務(wù),以及終止運行中任務(wù),即時生效;
3、調(diào)度中心HA(中心式):調(diào)度采用中心式設(shè)計,“調(diào)度中心”基于集群Quartz實現(xiàn)并支持集群部署,可保證調(diào)度中心HA;
4、執(zhí)行器HA(分布式):任務(wù)分布式執(zhí)行,任務(wù)"執(zhí)行器"支持集群部署,可保證任務(wù)執(zhí)行HA;
5、注冊中心: 執(zhí)行器會周期性自動注冊任務(wù), 調(diào)度中心將會自動發(fā)現(xiàn)注冊的任務(wù)并觸發(fā)執(zhí)行。同時,也支持手動錄入執(zhí)行器地址;
6、彈性擴容縮容:一旦有新執(zhí)行器機器上線或者下線,下次調(diào)度時將會重新分配任務(wù);
7、路由策略:執(zhí)行器集群部署時提供豐富的路由策略,包括:第一個、最后一個、輪詢、隨機、一致性HASH、最不經(jīng)常使用、最近最久未使用、故障轉(zhuǎn)移、忙碌轉(zhuǎn)移等;
8、故障轉(zhuǎn)移:任務(wù)路由策略選擇"故障轉(zhuǎn)移"情況下,如果執(zhí)行器集群中某一臺機器故障,將會自動Failover切換到一臺正常的執(zhí)行器發(fā)送調(diào)度請求。
9、阻塞處理策略:調(diào)度過于密集執(zhí)行器來不及處理時的處理策略,策略包括:單機串行(默認(rèn))、丟棄后續(xù)調(diào)度、覆蓋之前調(diào)度;
10、任務(wù)超時控制:支持自定義任務(wù)超時時間,任務(wù)運行超時將會主動中斷任務(wù);
11、任務(wù)失敗重試:支持自定義任務(wù)失敗重試次數(shù),當(dāng)任務(wù)失敗時將會按照預(yù)設(shè)的失敗重試次數(shù)主動進(jìn)行重試;其中分片任務(wù)支持分片粒度的失敗重試;
12、任務(wù)失敗告警;默認(rèn)提供郵件方式失敗告警,同時預(yù)留擴展接口,可方面的擴展短信、釘釘?shù)雀婢绞剑?/p>
13、分片廣播任務(wù):執(zhí)行器集群部署時,任務(wù)路由策略選擇"分片廣播"情況下,一次任務(wù)調(diào)度將會廣播觸發(fā)集群中所有執(zhí)行器執(zhí)行一次任務(wù),可根據(jù)分片參數(shù)開發(fā)分片任務(wù);
14、動態(tài)分片:分片廣播任務(wù)以執(zhí)行器為維度進(jìn)行分片,支持動態(tài)擴容執(zhí)行器集群從而動態(tài)增加分片數(shù)量,協(xié)同進(jìn)行業(yè)務(wù)處理;在進(jìn)行大數(shù)據(jù)量業(yè)務(wù)操作時可顯著提升任務(wù)處理能力和速度。
15、事件觸發(fā):除了"Cron方式"和"任務(wù)依賴方式"觸發(fā)任務(wù)執(zhí)行之外,支持基于事件的觸發(fā)任務(wù)方式。調(diào)度中心提供觸發(fā)任務(wù)單次執(zhí)行的API服務(wù),可根據(jù)業(yè)務(wù)事件靈活觸發(fā)。
16、任務(wù)進(jìn)度監(jiān)控:支持實時監(jiān)控任務(wù)進(jìn)度;
17、Rolling實時日志:支持在線查看調(diào)度結(jié)果,并且支持以Rolling方式實時查看執(zhí)行器輸出的完整的執(zhí)行日志;
18、GLUE:提供Web IDE,支持在線開發(fā)任務(wù)邏輯代碼,動態(tài)發(fā)布,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
19、腳本任務(wù):支持以GLUE模式開發(fā)和運行腳本任務(wù),包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
20、命令行任務(wù):原生提供通用命令行任務(wù)Handler(Bean任務(wù),"CommandJobHandler");業(yè)務(wù)方只需要提供命令行即可;
21、任務(wù)依賴:支持配置子任務(wù)依賴,當(dāng)父任務(wù)執(zhí)行結(jié)束且執(zhí)行成功后將會主動觸發(fā)一次子任務(wù)的執(zhí)行, 多個子任務(wù)用逗號分隔;
22、一致性:“調(diào)度中心”通過DB鎖保證集群分布式調(diào)度的一致性, 一次任務(wù)調(diào)度只會觸發(fā)一次執(zhí)行;
23、自定義任務(wù)參數(shù):支持在線配置調(diào)度任務(wù)入?yún)ⅲ磿r生效;
24、調(diào)度線程池:調(diào)度系統(tǒng)多線程觸發(fā)調(diào)度運行,確保調(diào)度精確執(zhí)行,不被堵塞;
25、數(shù)據(jù)加密:調(diào)度中心和執(zhí)行器之間的通訊進(jìn)行數(shù)據(jù)加密,提升調(diào)度信息安全性;
26、郵件報警:任務(wù)失敗時支持郵件報警,支持配置多郵件地址群發(fā)報警郵件;
27、推送maven中央倉庫: 將會把最新穩(wěn)定版推送到maven中央倉庫, 方便用戶接入和使用;
28、運行報表:支持實時查看運行數(shù)據(jù),如任務(wù)數(shù)量、調(diào)度次數(shù)、執(zhí)行器數(shù)量等;以及調(diào)度報表,如調(diào)度日期分布圖,調(diào)度成功分布圖等;
29、全異步:任務(wù)調(diào)度流程全異步化設(shè)計實現(xiàn),如異步調(diào)度、異步運行、異步回調(diào)等,有效對密集調(diào)度進(jìn)行流量削峰,理論上支持任意時長任務(wù)的運行;
30、跨平臺:原生提供通用HTTP任務(wù)Handler(Bean任務(wù),"HttpJobHandler");業(yè)務(wù)方只需要提供HTTP鏈接即可,不限制語言、平臺;
31、國際化:調(diào)度中心支持國際化設(shè)置,提供中文、英文兩種可選語言,默認(rèn)為中文;
32、容器化:提供官方docker鏡像,并實時更新推送dockerhub,進(jìn)一步實現(xiàn)產(chǎn)品開箱即用;
33、線程池隔離:調(diào)度線程池進(jìn)行隔離拆分,慢任務(wù)自動降級進(jìn)入"Slow"線程池,避免耗盡調(diào)度線程,提高系統(tǒng)穩(wěn)定性;;
文檔地址中文文檔
技術(shù)交流社區(qū)交流
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/74234.html
摘要:自研調(diào)度組件,移除依賴一方面是為了精簡系統(tǒng)降低冗余依賴,另一方面是為了提供系統(tǒng)的可控度與穩(wěn)定性觸發(fā)單節(jié)點周期性觸發(fā),運行事件如調(diào)度集群競爭,負(fù)載方式協(xié)同處理,鎖競爭更新觸發(fā)信息推送時間輪鎖釋放鎖競爭底層表結(jié)構(gòu)重構(gòu)移除張相關(guān)表,并對現(xiàn) v2.0.2 Release Notes 1、自研調(diào)度組件,移除quartz依賴:一方面是為了精簡系統(tǒng)降低冗余依賴,另一方面是為了提供系統(tǒng)的可控度與穩(wěn)...
摘要:分布式任務(wù)調(diào)度平臺一簡介概述是一個輕量級分布式任務(wù)調(diào)度框架,其核心設(shè)計目標(biāo)是開發(fā)迅速學(xué)習(xí)簡單輕量級易擴展。 《分布式任務(wù)調(diào)度平臺XXL-JOB》 showImg(https://segmentfault.com/img/remote/1460000010402214);showImg(https://segmentfault.com/img/remote/146000001040221...
摘要:版本特性國際化調(diào)度中心實現(xiàn)國際化,支持中文英文兩種語言,默認(rèn)為中文。調(diào)度中心提供觸發(fā)任務(wù)單次執(zhí)行的服務(wù),可根據(jù)業(yè)務(wù)事件靈活觸發(fā)。 版本 V1.9.1 特性 1、國際化:調(diào)度中心實現(xiàn)國際化,支持中文、英文兩種語言,默認(rèn)為中文。 2、調(diào)度報表新增運行中中狀態(tài)項; 3、調(diào)度報表優(yōu)化,報表SQL調(diào)優(yōu)并且新增LocalCache緩存(緩存時間60s),提高大數(shù)據(jù)量下報表加載速度; 4、修復(fù)打包...
v2.0.0 Release Notes 1、調(diào)度中心遷移到 springboot; 2、底層通訊組件遷移至 xxl-rpc; 3、容器化:提供官方docker鏡像,并實時更新推送dockerhub(docker pull xuxueli/xxl-job-admin),進(jìn)一步實現(xiàn)產(chǎn)品開箱即用; 4、新增無框架執(zhí)行器Sample示例項目 xxl-job-executor-sample-framel...
摘要:分布式任務(wù)調(diào)度平臺,美團點評員工許雪里開發(fā),其核心設(shè)計目標(biāo)是開發(fā)迅速學(xué)習(xí)簡單輕量級易擴展。源碼地址二本文簡介主要是利用成熟的部署工具,結(jié)合開源的分布式任務(wù)調(diào)度框架作為工程,快速搭建自己的持續(xù)集成項目,其他項目可以類似構(gòu)建。 一、概述 1、自動化部署能簡化開發(fā)過程的代碼管理,讓開發(fā)人員把更多的時間專注于業(yè)務(wù)實現(xiàn), 簡化繁瑣的上線流程和操作步驟,做到項目的快速打包和部署,減少人...
閱讀 2853·2021-11-22 15:22
閱讀 19263·2021-09-22 15:00
閱讀 1442·2021-09-07 09:58
閱讀 1245·2019-08-30 13:01
閱讀 2438·2019-08-29 16:27
閱讀 2352·2019-08-26 13:25
閱讀 1625·2019-08-26 12:13
閱讀 944·2019-08-26 11:53