性能故障之dual調(diào)用風(fēng)暴案例分享

IT那活兒發(fā)布于2023-01-11 13:20 / 1864人閱讀

看兄弟們的總結(jié)輸出，不僅讓我想起奮殺一線的時(shí)光，每一個(gè)老司機(jī)都有屬于自己的移動(dòng)硬盤和老師；每個(gè)老司機(jī)內(nèi)心都有讓自己記憶終身的性能故障；每一個(gè)老司機(jī)都是燒不死的鳥兒。但，所有的經(jīng)歷回頭看，都是那么的讓人熱淚盈眶。為什么回憶往事總是讓我們熱淚盈眶，因?yàn)槲覍?duì)這份職業(yè)愛的深沉。讓我們把時(shí)間撥回到2017年......

近期某省渠道應(yīng)用的簽到送流量業(yè)務(wù)出現(xiàn)了嚴(yán)重的業(yè)務(wù)超時(shí)情況，與此同時(shí)該渠道Tuxedo中間件的維護(hù)人員在該活動(dòng)的業(yè)務(wù)高峰期，也接收到了大量涉及業(yè)務(wù)辦理服務(wù)的積壓告警短信。

通過對(duì)積壓的Tuxedo服務(wù)執(zhí)行效率進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)該服務(wù)在業(yè)務(wù)高峰期時(shí)單筆調(diào)用的服務(wù)執(zhí)行總耗時(shí)已經(jīng)達(dá)到13.4732s。

中間件維護(hù)人員在對(duì)該服務(wù)進(jìn)行實(shí)時(shí)truss過程中，未發(fā)現(xiàn)明顯的執(zhí)行過程等待現(xiàn)象，但經(jīng)過對(duì)該服務(wù)單筆調(diào)用記錄的數(shù)據(jù)進(jìn)行分析和統(tǒng)計(jì)后，發(fā)現(xiàn)在一次調(diào)用過程中，該服務(wù)對(duì)數(shù)據(jù)庫(kù)讀、寫的次數(shù)累計(jì)已經(jīng)超過了14000次。

同時(shí)在truss過程中，我們發(fā)現(xiàn)每次的read5，write5對(duì)象分別為讀、寫CRM庫(kù)。

于是馬上接入CRM庫(kù)進(jìn)行分析，跟蹤積壓服務(wù)在數(shù)據(jù)庫(kù)執(zhí)行情況。通過剖析主要發(fā)現(xiàn)該服務(wù)發(fā)起的session存在大量的librarycache: mutex X爭(zhēng)用，且都在特定的sql上（sql_id:afqzw543rcu2d）。

另外該sql在30min內(nèi)累計(jì)執(zhí)行3.8kw次，與此同時(shí)主機(jī)Runq隊(duì)列高居不下，Cpu資源耗盡。

通過剖析該sql，發(fā)現(xiàn)該sql主要是利用dual表進(jìn)行date轉(zhuǎn)換。

由此可發(fā)現(xiàn)，本次服務(wù)積壓主要與此sql有關(guān)，但該服務(wù)模塊上線較早，且近期沒有新的變更，那么此次的問題是否和sql調(diào)用量增加有關(guān)系？

帶著此疑問，我們對(duì)此sql的調(diào)用量做了對(duì)比分析。

分析發(fā)現(xiàn)2月11日6點(diǎn)到9點(diǎn)30分總執(zhí)行次數(shù)只有5000萬次左右，3月20日6點(diǎn)到9點(diǎn)30分總共執(zhí)行了1.1億次，3月27日，6點(diǎn)到9點(diǎn)30分，總共執(zhí)行了4.01億次，差不多增長(zhǎng)了4倍。所以從數(shù)據(jù)上分析，該SQL的執(zhí)行次數(shù)是一個(gè)不斷增長(zhǎng)的趨勢(shì)；

同時(shí)發(fā)現(xiàn)，隨著問題sql執(zhí)行次數(shù)的增加，librarycache: mutex X等待次數(shù)也跟著同比增加，進(jìn)而使得主機(jī)Runq隊(duì)列劇增，Cpu資源耗盡。

那么要解決該問題，就要控制該sql執(zhí)行頻率。通過同應(yīng)用側(cè)溝通，最終通過修改業(yè)務(wù)邏輯，在數(shù)據(jù)庫(kù)中屏蔽該sql。

優(yōu)化后對(duì)服務(wù)調(diào)用量及平均響應(yīng)時(shí)長(zhǎng)進(jìn)行了監(jiān)控和數(shù)據(jù)搜集。

對(duì)比發(fā)現(xiàn)，優(yōu)化后服務(wù)執(zhí)行效率提升顯著，且穩(wěn)定，無服務(wù)隊(duì)列積壓情況出現(xiàn)。下圖為上線前后服務(wù)執(zhí)行效率對(duì)比曲線圖：

此案例中我們發(fā)現(xiàn)在應(yīng)用代碼中使用selectxxx from dual, 該SQL雖然簡(jiǎn)單，且單次執(zhí)行性能優(yōu)良，但如高頻率的執(zhí)行，則會(huì)有資源高消耗的隱患。

因此建議避免在數(shù)據(jù)庫(kù)內(nèi)部進(jìn)行與數(shù)據(jù)庫(kù)無關(guān)的處理；且日期以及字符串等相關(guān)處理各種程序語言（C、Java）都提供了豐富的函數(shù)庫(kù)可使用，本地化處理不僅可以避免與數(shù)據(jù)庫(kù)的交互，更可以降低數(shù)據(jù)庫(kù)的負(fù)載，提高服務(wù)性能。

獨(dú)坐思往昔，愁絕淚盈襟。下回見。