故障處理之?dāng)?shù)據(jù)庫(kù)節(jié)點(diǎn)實(shí)例異常重啟

IT那活兒發(fā)布于2023-01-11 13:20 / 2938人閱讀

點(diǎn)擊上方藍(lán)字關(guān)注我們

大家好！最近遇到一起數(shù)據(jù)庫(kù)節(jié)點(diǎn)實(shí)例異常重啟故障，隨筆記記。

故障現(xiàn)象：

數(shù)據(jù)庫(kù)節(jié)點(diǎn)3因大量高并發(fā)insert語(yǔ)句導(dǎo)致sql積壓，從而短時(shí)間內(nèi)消耗大量主機(jī)資源，對(duì)數(shù)據(jù)庫(kù)性能產(chǎn)生了很大影響，嚴(yán)重影響數(shù)據(jù)庫(kù)的正常運(yùn)行，導(dǎo)致節(jié)點(diǎn)3數(shù)據(jù)庫(kù)發(fā)生重啟。

故障分析過(guò)程：

1、20點(diǎn)28分左右，收到節(jié)點(diǎn)3大量sql積壓短信告警,積壓SQL主要為：9yy1zhgjvfbpj。

節(jié)點(diǎn)3：

2、登陸環(huán)境核查數(shù)據(jù)庫(kù)實(shí)例狀態(tài)及實(shí)例啟動(dòng)時(shí)間，20點(diǎn)36分確認(rèn)數(shù)據(jù)庫(kù)實(shí)例狀態(tài)正常，且實(shí)例沒(méi)有重啟。當(dāng)即對(duì)異常等待事件的sql進(jìn)行查殺，但是由于應(yīng)用還在不停的發(fā)起連接，在20點(diǎn)45分時(shí)節(jié)點(diǎn)3發(fā)生重啟。

3、查看主機(jī)日志，并確認(rèn)無(wú)異常報(bào)錯(cuò)信息。

節(jié)點(diǎn)3主機(jī)日志：

4、通過(guò)檢查數(shù)據(jù)庫(kù)運(yùn)行狀況時(shí)發(fā)現(xiàn)節(jié)點(diǎn)3上有大量sql積壓的等待事件

對(duì)應(yīng)等待事件主要為：enq:us-contention，rowcache local行緩存鎖,enq: IV - contention隊(duì)列等待之詢(xún)問(wèn)IV。

附：

enq:us-contention：

這個(gè)等待事件有許多脫機(jī)撤消段，并且工作負(fù)載在短時(shí)間內(nèi)開(kāi)始聯(lián)機(jī)許多撤消段。當(dāng)使用具有自動(dòng)調(diào)整的撤銷(xiāo)保留期的系統(tǒng)管理撤銷(xiāo)時(shí)，這可能會(huì)導(dǎo)致在DC_ROLLBACK_SEGMENTS上出現(xiàn)高“閂鎖：行緩存對(duì)象”爭(zhēng)用，同時(shí)出現(xiàn)高“enq:US-爭(zhēng)用”等待。

rowcache local：

該是一個(gè)共享池相關(guān)的等待事件。是由于對(duì)于字典緩沖的訪問(wèn)造成的。每一個(gè)行緩沖隊(duì)列鎖都對(duì)應(yīng)一個(gè)特定的數(shù)據(jù)字典對(duì)象，這被叫做隊(duì)列鎖類(lèi)型，并可以在V$ROWCACHE視圖中找到。在AWR中需要查看DictionaryCache Stats部分用以確定問(wèn)題。

enq:IV - contention：

物化視圖（mview）有兩部分：（1）保存數(shù)據(jù)的表，和（2）摘要對(duì)象。當(dāng)提交mview基表上的DML時(shí)，summary對(duì)象將失效。這是必要的，因?yàn)?/span>mview可能需要用于查詢(xún)重寫(xiě)。失效采用IV排隊(duì)，直到summary對(duì)象在所有節(jié)點(diǎn)上失效為止。如果存在大量摘要無(wú)效，則會(huì)導(dǎo)致此排隊(duì)上的爭(zhēng)用。

5、通過(guò)核查節(jié)點(diǎn)3上sql積壓等待事件對(duì)應(yīng)的會(huì)話信息，定位到積壓sql對(duì)應(yīng)的sql_id，查到其sql文本就是一個(gè)insert語(yǔ)句。

節(jié)點(diǎn)3：

6、故障時(shí)間段節(jié)點(diǎn)3redo變化分析。

故障時(shí)間段每秒產(chǎn)生的redo量相比正常時(shí)間段增長(zhǎng)了約180%。

故障時(shí)間段每秒產(chǎn)生redo量：

正常時(shí)間段每秒產(chǎn)生redo量：

7、查看會(huì)話變化情況發(fā)現(xiàn)從20點(diǎn)15分開(kāi)始數(shù)據(jù)庫(kù)會(huì)話開(kāi)始突增。

8、通過(guò)分析故障時(shí)間段哪些SQL占用了資源，發(fā)現(xiàn)其中sql_id為9yy1zhgjvfbpj的語(yǔ)句占用了數(shù)據(jù)庫(kù)48.24%的DBTIME。并最終于20:45分CPU資源耗盡導(dǎo)致實(shí)例重啟。

9yy1zhgjvfbpj語(yǔ)句執(zhí)行頻次突增截圖如下所示，11月2日故障時(shí)間段該sql執(zhí)行頻次上下浮動(dòng)較大，而本次故障時(shí)間段該sql每分鐘的執(zhí)行頻次持續(xù)保持在四千+，最高峰甚至達(dá)到1萬(wàn)+

結(jié)論：sql_id為9yy1zhgjvfbpj的語(yǔ)句因高并發(fā)且頻次突增，引發(fā)數(shù)據(jù)庫(kù)序列及undo爭(zhēng)用，消耗了大量的數(shù)據(jù)庫(kù)資源，數(shù)據(jù)庫(kù)主機(jī)最終CPU資源耗盡導(dǎo)致實(shí)例重啟。