ABRTD進(jìn)程引發(fā)ES血案的故事

IT那活兒發(fā)布于2023-01-11 13:19 / 1640人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！??！

故障背景

某集團(tuán)割接，數(shù)據(jù)同步驗(yàn)證日志一致性時(shí)，連接ES失敗，無(wú)法寫(xiě)入和讀取，es數(shù)據(jù)寫(xiě)入不了，影響最新日志入es，應(yīng)用割接大部分廠(chǎng)商需要查詢(xún)最新的日志，間接影響到了割接進(jìn)度,為了保障業(yè)務(wù)恢復(fù)，秉承先搶通后搶修原則，在上級(jí)領(lǐng)導(dǎo)及業(yè)務(wù)廠(chǎng)商溝通下，立即啟用應(yīng)急處理措施，進(jìn)行切換至災(zāi)備ES,切換后索引讀寫(xiě)正常，通知廠(chǎng)商恢復(fù)業(yè)務(wù)。

故事發(fā)生過(guò)程

晚上吃完飯，和同事一起趕現(xiàn)場(chǎng)做好支撐準(zhǔn)備，我們說(shuō)，今天割接非常順利，沒(méi)什么異常，早點(diǎn)回去休息，正要回去的時(shí)候，突然有個(gè)業(yè)務(wù)系統(tǒng)說(shuō)，查詢(xún)?nèi)罩井惓?，我們馬上查詢(xún)一下手機(jī)短信，未發(fā)現(xiàn)什么異常短信，是否是業(yè)務(wù)誤報(bào)，不管了，以‘飛奔‘的速度跑回現(xiàn)場(chǎng)，所有領(lǐng)導(dǎo)已在現(xiàn)場(chǎng)，下面我們就展開(kāi)了一系列分析。

我們這套ES是6主機(jī)24節(jié)點(diǎn)的集群，專(zhuān)門(mén)提供業(yè)務(wù)日志寫(xiě)入，打開(kāi)kibana看所有集群節(jié)點(diǎn)也都正常，看狀態(tài)也是Green 。

但是集群寫(xiě)入失敗，肯定存在問(wèn)題，于是看看節(jié)點(diǎn)情況，結(jié)果節(jié)點(diǎn)的索引信息獲取失敗，ES集群命令已經(jīng)查不到ES集群節(jié)點(diǎn)信息及索引信息，此時(shí)需通過(guò)日志來(lái)分析為什么會(huì)如此。

分析ES集群日志，發(fā)現(xiàn)日志中最早的報(bào)錯(cuò)信息發(fā)生在5點(diǎn)33分39秒左右，報(bào)錯(cuò)信息為連接超時(shí)導(dǎo)致無(wú)法獲取集群和索引信息，并且其它節(jié)點(diǎn)也有超時(shí)現(xiàn)象。

存在ES節(jié)點(diǎn)超時(shí)，就會(huì)觸發(fā)ES集群索引分片重新路由分配，分片移動(dòng)到其它節(jié)點(diǎn)導(dǎo)致磁盤(pán)占比上升，引發(fā)es集群自動(dòng)觸發(fā)提高磁盤(pán)水位，過(guò)高的IO和負(fù)載使整個(gè)集群Hang住，

此時(shí)ES級(jí)別分析完成，是185節(jié)點(diǎn)與集群通信失敗超時(shí)，處于假死狀態(tài)，而為什么185節(jié)點(diǎn)會(huì)這樣，我們進(jìn)一步對(duì)操作系統(tǒng)進(jìn)行分析，通過(guò)自動(dòng)化運(yùn)維平臺(tái)，發(fā)現(xiàn)6臺(tái)主機(jī)，有其中一個(gè)主機(jī)的負(fù)載故障前非常高，于是對(duì)操作日志進(jìn)行分析，檢查操作系統(tǒng)messages信息，發(fā)現(xiàn)185存在系統(tǒng)守護(hù)進(jìn)程abrtd異常導(dǎo)致連接數(shù)過(guò)多及主機(jī)hang現(xiàn)象：

abrtd: Too many clients, refusing connections to 
/var/run/abrt/abrt.socketAug 21 05:33:37 hnes09 kernel: 
INFO: task java:21133 blocked for more than 120 seconds.Aug 
21 05:33:37 hnes09 kernel: "echo 0 > 
/proc/sys/kernel/hung_task_timeout_secs" disables this message.

我們通過(guò)日志發(fā)現(xiàn)引發(fā)這臺(tái)主機(jī)的‘罪魁禍?zhǔn)住?/span>abrtd進(jìn)程引起，而該進(jìn)程是在操作系統(tǒng)BUG或異常情況會(huì)觸發(fā)，由于是開(kāi)源的centos未有相應(yīng)dump生成，只能先重啟主機(jī)解決。

重啟主機(jī)并重啟ES集群，查看 es日志顯示集群狀態(tài)正常，集群包含的6臺(tái)主機(jī)共24個(gè)節(jié)點(diǎn)正常加入集群，集群恢復(fù)正常，kibana訪(fǎng)問(wèn)正常。

為了防止后續(xù)重蹈覆轍，在其它的未發(fā)生故障的主機(jī)進(jìn)行梳理，并停止abrtd進(jìn)程服務(wù)，至此整個(gè)事件告一段落。

故事發(fā)生引發(fā)的思考：

在我們未來(lái)的運(yùn)維場(chǎng)景越來(lái)越復(fù)雜的情況下，開(kāi)源組件會(huì)越來(lái)越多，業(yè)務(wù)使用開(kāi)源的場(chǎng)景也會(huì)增多，單純的技術(shù)深度已無(wú)法滿(mǎn)足未來(lái)的需求，我們應(yīng)該從架構(gòu)設(shè)計(jì)出發(fā)，在出現(xiàn)問(wèn)題的時(shí)候架構(gòu)上做冗余，秉承‘業(yè)務(wù)優(yōu)先，先搶通后搶修’的原則，在日常運(yùn)維中使用平臺(tái)工具代替手工勞作。真正意義實(shí)現(xiàn)’故障來(lái)了我不背鍋’。

文章首發(fā)于2021年9月15日