性能故障之內(nèi)存抖動的診斷過程

IT那活兒發(fā)布于2023-01-11 13:20 / 1589人閱讀

性能故障之內(nèi)存抖動的診斷過程

下面的分享是筆者在2月份處理的一起性能故障，筆者將分析過程分享出來，給大家起到拋磚引玉的作用。

接到XXX項(xiàng)目組報障：XX系統(tǒng)Connecttodatabasetimeout，請求協(xié)助檢查數(shù)據(jù)庫是否有異常。通過DPM檢查數(shù)據(jù)庫狀態(tài)（現(xiàn)場所有交維，為交維的數(shù)據(jù)庫都納入了DPM），發(fā)現(xiàn)大量cursor: pin S wait on X（數(shù)據(jù)庫還未交維平臺側(cè)，純友情協(xié)助）；

使用DPM下鉆功能，找到阻塞sql；

通過查看DPM概覽發(fā)現(xiàn)確實(shí)存在大量等待事件告警信息：

與業(yè)務(wù)側(cè)緊急溝通核實(shí)，確定已造成業(yè)務(wù)積壓，考慮到服務(wù)連續(xù)性，本著先搶通再核查根因的原則，經(jīng)過應(yīng)用側(cè)同意，對堵塞會話予以查殺，以保證業(yè)務(wù)的連續(xù)性。堵塞會話查殺后，數(shù)據(jù)庫恢復(fù)，業(yè)務(wù)恢復(fù)正常。

故障第一次分析：

采用故障時間段相關(guān)現(xiàn)場信息排除法進(jìn)行相關(guān)分析。

version count 信息

Version count正常，非此次故障原因，可排除。

相關(guān)負(fù)載及硬解析物理讀等

硬解析在正常范圍內(nèi)，非此次故障原因，可排除

DDL變動信息

相關(guān)對象最后DDL操作和此次故障時間不一致，可排除

shared pool 變動信息

Shared pool 存在抖動情況，內(nèi)存抖動是導(dǎo)致cursor: pin S wait on X等待事件發(fā)生原因之一；

會話信息

根據(jù)會話變動找出阻塞源以便排查原因；

session變動量

故障時段session并發(fā)連接數(shù)量明顯增加。

造成cursor: pin S wait on X幾種原因：

version count過高
硬解析過多
在問題時段有做DDL操作，導(dǎo)致異常阻塞
sql用的對象使用了DBLINK訪問，dblink不通
shared pool抖動造成
業(yè)務(wù)變更
相關(guān)bug

根據(jù)故障時間段的相關(guān)數(shù)據(jù)一一排除version count、硬解析、ddl、dblink等原因，查找相關(guān)sql執(zhí)行計劃并分析，查找相關(guān)類似bug文檔，排查相關(guān)原因分析，初步確定shared pool抖動為本次故障原因；

分析到這里時，客戶側(cè)也在催促結(jié)論，需要向上匯報。逐將上述分析過程整理發(fā)于客戶側(cè)。

2月22日第二次發(fā)生故障

晚上睡覺一直惦記著這事兒，整個晚上睡的都不踏實(shí)。早上到達(dá)現(xiàn)場第一時間登陸巡檢發(fā)現(xiàn)問題復(fù)現(xiàn)，繼續(xù)用排除法進(jìn)行原因分析。

未共享sql

根據(jù)查詢顯示未綁定變量sql在正常范圍內(nèi)，非造成此次性能故障原因

sga變動

通過awr顯示sga存在內(nèi)存抖動

查詢源阻塞信息

為保障業(yè)務(wù)連續(xù)性，聯(lián)系業(yè)務(wù)側(cè)對堵塞會話予以核實(shí)及查殺。

業(yè)務(wù)恢復(fù)后繼續(xù)分析：

造成抖動的ddl信息

查詢相關(guān)官方文檔

收集相關(guān)信息

進(jìn)行故障時間段awr、ash、addm等報告的收集及shared pool變動信息查詢并進(jìn)行hang分析；

2月22日第三次發(fā)生故障

正在分析的時候，同事通過DPM實(shí)時監(jiān)控發(fā)現(xiàn)問題再次出現(xiàn)，與業(yè)務(wù)側(cè)核實(shí)后立馬進(jìn)行會話查殺，以防止影響業(yè)務(wù)感知。

根據(jù)addm報告、shared pool變化信息結(jié)合DPM等待事件相關(guān)故障開始時間等信息的聯(lián)合診斷，確定shared pool過小是導(dǎo)致此次性能故障的原因，依據(jù)如下：

1、addm報告顯示（見下圖），shared pool latches 對此次故障的影響；

2、對比shared pool數(shù)據(jù)與DPM所記錄等待情況，發(fā)現(xiàn)在故障發(fā)生時，shared pool發(fā)生明顯抖動且與等待事件發(fā)生時間一致。

Shared pool 和故障等待開始時間對應(yīng)表格

等待事件開始時間	Shared pool抖動時間
2020-02-21 22：09	2020-02-21 22：09
2020-02-22 08：54	2020-02-22 08：54
2020-02-22 10：26	2020-02-22 10：27