記一起tuxedo中間件服務(wù)阻塞故障案例

IT那活兒發(fā)布于2023-01-11 13:20 / 1789人閱讀

問題背景

某日某系統(tǒng)前端統(tǒng)計(jì)分析發(fā)現(xiàn)，當(dāng)天前端調(diào)用tuxedo中間件多個(gè)服務(wù)出現(xiàn)調(diào)用時(shí)間增長較多，并間歇性出現(xiàn)“服務(wù)調(diào)用出錯(cuò).”情況，問題出現(xiàn)時(shí)間點(diǎn)短暫無規(guī)律，問題持續(xù)下去會(huì)逐步拉低業(yè)務(wù)成功率，觸及考核。

問題排查難點(diǎn)：1）問題未觸發(fā)服務(wù)排隊(duì)告警；2）問題出現(xiàn)時(shí)間點(diǎn)短暫無規(guī)律，不好捕獲問題現(xiàn)場。

故障分析過程

一、問題首次出現(xiàn)

情況說明：如問題背景所述，維護(hù)人員著手排查。

1、由于tuxedo中間件服務(wù)按照地市進(jìn)行分區(qū)，不同地市根據(jù)路由信息，通過ESB訪問對(duì)應(yīng)區(qū)域tuxedo中間件，因此第一時(shí)間協(xié)調(diào)ESB協(xié)查服務(wù)調(diào)用超時(shí)記錄，確認(rèn)問題所在區(qū)域。

2、經(jīng)ESB核查發(fā)現(xiàn)超時(shí)服務(wù)情況主要在集中在A區(qū)域獲取有效tuxedo域信息后，我側(cè)有針對(duì)的核查tuxedo系統(tǒng)ULOG日志，發(fā)現(xiàn)中間件確實(shí)存在對(duì)應(yīng)的應(yīng)用服務(wù)請(qǐng)求阻塞的日志報(bào)錯(cuò)信息。

3、排查告警發(fā)現(xiàn)未觸發(fā)告警原因如下：

核查服務(wù)排隊(duì)監(jiān)控腳本發(fā)現(xiàn)，服務(wù)隊(duì)列監(jiān)控閥值為100，每4四分鐘執(zhí)行一次。服務(wù)排隊(duì)時(shí)服務(wù)隊(duì)列未達(dá)到閥值，或監(jiān)控腳本執(zhí)行時(shí)間未出現(xiàn)排隊(duì)現(xiàn)象。

4、優(yōu)化監(jiān)控采集粒度以及告警閾值，待下一次異常時(shí)刻捕獲現(xiàn)場：

調(diào)整閥值為30，每分鐘采集一次；

同時(shí)針對(duì)異常服務(wù)部署了truss捕獲腳本，當(dāng)觸發(fā)告警后第一時(shí)間執(zhí)行truss捕獲有效信息。

二、問題再次出現(xiàn)

情況說明：第二次凌晨0點(diǎn)10分問題再次出現(xiàn)，同時(shí)促發(fā)短信告警。

1、這次我側(cè)提前部署了腳本truss服務(wù)進(jìn)程，抓取到了本次服務(wù)異常調(diào)用全過程。分析truss輸出文件發(fā)現(xiàn)服務(wù)在 write 1 寫操作中，耗時(shí)達(dá)42秒。

2、Pfiles pid可以看出write 1系服務(wù)向中間件主機(jī)本地寫業(yè)務(wù)日志

3、比對(duì)正常時(shí)間段，此本地寫日志操作驟耗時(shí)均在0.0001~0.0002s左右：

對(duì)比懷疑異常時(shí)間段中間件主機(jī)I/O異常，導(dǎo)致服務(wù)調(diào)用超時(shí)。為確保此次抓取異常非偶然現(xiàn)象，之后進(jìn)行了第二次抓取，現(xiàn)象與分析結(jié)果與上述一致。

4、通知主機(jī)端核查接口tuxedo A對(duì)應(yīng)主機(jī)I/O是否存在異常。

經(jīng)主機(jī)核查發(fā)現(xiàn)主機(jī)存在一條存儲(chǔ)鏈路不穩(wěn)定，并對(duì)不穩(wěn)定鏈路臨時(shí)做disabled處理，避免再次影響業(yè)務(wù)。

5、最終主機(jī)側(cè)問題處理后，續(xù)持續(xù)跟蹤觀察，故障得到解決。

小結(jié)

故障相對(duì)簡單，重在排查思路。針對(duì)此類間歇性、偶發(fā)性、異常時(shí)間很短的故障，首先我們需要確保監(jiān)控告警能夠第一時(shí)間捕獲異常，如果未觸發(fā)告警，需第一時(shí)間分析、調(diào)整告警策略；針對(duì)故障時(shí)間非常短的情況，需要考慮預(yù)置捕獲任務(wù)，確保能夠捕獲現(xiàn)場，否則從收到告警到登上服務(wù)器，可能故障已經(jīng)結(jié)束了，導(dǎo)致還是沒有排查方向；針對(duì)tuxedo服務(wù)調(diào)用故障，要熟練使用truss、trace等相關(guān)命令，捕獲服務(wù)進(jìn)程對(duì)系統(tǒng)調(diào)用、接收的信號(hào)和進(jìn)程造成的機(jī)器故障的跟蹤。