「技術(shù)大牛」是如何縮短事件平均解決時(shí)間的？

KavenFan 發(fā)布于2019-05-28 17:00 / 2984人閱讀

摘要：總故障時(shí)間是關(guān)于告警事件數(shù)量與各告警事件時(shí)長(zhǎng)的函數(shù)。一個(gè)月的告警數(shù)據(jù)顯示平均響應(yīng)時(shí)間為分鐘平均解決時(shí)間為分鐘。確定團(tuán)隊(duì)領(lǐng)導(dǎo)人此人將在解決故障期間帶領(lǐng)團(tuán)隊(duì)工作。找到并解決問題事件解決時(shí)間大部分花在確定告警問題的過程中。

前不久，我們討論了運(yùn)維不容錯(cuò)過的 4個(gè)關(guān)鍵指標(biāo)，其中平均解決時(shí)間（MTTR）被認(rèn)為是衡量業(yè)務(wù)的最佳標(biāo)準(zhǔn)，隨后也分析了「告警等級(jí)」對(duì)MTTR的重要性。

正確看待 MTTR

MTTR 為從故障發(fā)生到故障修復(fù)所經(jīng)歷的時(shí)間。總故障時(shí)間是關(guān)于告警事件數(shù)量與各告警事件時(shí)長(zhǎng)的函數(shù)。經(jīng)過仔細(xì)地探討這兩項(xiàng)因素及其優(yōu)先級(jí)，結(jié)合具體情況，總結(jié)以下策略用來縮短MTTR：

1）加快工作速度 = 然并卵

如果想通過加快工作速度降低 MTTR，理論上是完美的，但是骨感的現(xiàn)實(shí)根本不按我們的劇本走！為了對(duì) MTTR 進(jìn)行持續(xù)的、可衡量的改進(jìn)，應(yīng)該對(duì)故障事件進(jìn)行深入的調(diào)查，分析事件的復(fù)雜程度及重要程度，然后從人與系統(tǒng)的協(xié)作上，實(shí)現(xiàn)對(duì)流程進(jìn)行優(yōu)化。

2）檢驗(yàn)告警響應(yīng)時(shí)間

一旦事件發(fā)生，「MTTR」時(shí)鐘便開始計(jì)時(shí)。通過調(diào)整通知流程，或許就能速戰(zhàn)速?zèng)Q。下圖為常見故障處理過程：

還不夠直觀？數(shù)據(jù)來說話。 OneAlert 一個(gè)月的告警數(shù)據(jù)顯示：平均響應(yīng)時(shí)間為 2.8 分鐘；平均解決時(shí)間為 27 分鐘。（不要問我為什么你們的響應(yīng)時(shí)間要好幾個(gè)小時(shí)！）

如果你的響應(yīng)時(shí)間較長(zhǎng)，建議檢查一下團(tuán)隊(duì)值班響應(yīng)機(jī)制，告警是否可有效傳達(dá)給了正確的人？如果一線排版人員無響應(yīng)，告警能否自動(dòng)升級(jí)？升級(jí)時(shí)間閾值是多少？通過設(shè)定接近平均響應(yīng)時(shí)間的適當(dāng)期望值和目標(biāo)，能確保所有成員盡快對(duì)告警作出響應(yīng)。

3）建立故障解決流程

告警響應(yīng)時(shí)間過長(zhǎng)，說明告警響應(yīng)機(jī)制存在問題，故需建立有效的故障解決流程，即需確保以下內(nèi)容：

建立有效溝通協(xié)議——明確每個(gè)人的任務(wù)分工，確立有效溝通方式。以 OneAlert 為例，團(tuán)隊(duì)的溝通方式主要有 QQ 群聊、WeChat 聊天室、釘釘?shù)取?/p>

確定團(tuán)隊(duì)領(lǐng)導(dǎo)人——此人將在解決故障期間帶領(lǐng)團(tuán)隊(duì)工作。需要做好記錄并合理安排工作。

做好記錄——應(yīng)當(dāng)詳細(xì)記錄故障期間發(fā)生的一切。這些記錄在你事后回顧之時(shí)將會(huì)非常有用。OneAlert 團(tuán)隊(duì)領(lǐng)導(dǎo)人還會(huì)定期總結(jié)告警事件。

熟能生巧——確保團(tuán)隊(duì)中每一個(gè)人都不是告警響應(yīng)的新手。

4）找到并解決問題

事件解決時(shí)間大部分花在確定告警問題的過程中。所以，如何更快的明確問題的關(guān)鍵，是目前各大監(jiān)控工具搶占市場(chǎng)的核心武器。但是未來可以肯定的是，找到問題還不夠，自動(dòng)化處理才是發(fā)展的出路。這部分內(nèi)容將在后期的文章中深入探討。

OneAlert 是應(yīng)用性能管理領(lǐng)軍企業(yè) OneAPM 公司旗下產(chǎn)品，也是國內(nèi)首個(gè) SaaS 模式的云告警平臺(tái)，集成國內(nèi)外主流監(jiān)控/支撐系統(tǒng)，實(shí)現(xiàn)一個(gè)平臺(tái)上集中處理所有 IT 事件，提升 IT 可靠性。想了解更多信息，請(qǐng)?jiān)L問 OneAlert 官網(wǎng) 。

本文轉(zhuǎn)自 OneAPM 官方博客