告警異常檢測實現

IT那活兒發布于2023-01-11 13:19 / 495人閱讀

告警異常檢測實現

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

異常檢測

離群點是在給定數據集中，與其他數據集顯著不同的點。異常檢測是找出數據中離群點（和大多數數據點顯著不同的數據點）的過程。

孤立森林

孤立森林（Isolation Forest）算法是西瓜書作者周志華老師的團隊研究開發的算法，一般用于結構化數據的異常檢測。

針對于不同類型的異常，要用不同的算法來進行檢測，而孤立森林算法主要針對的是連續型結構化數據中的異常點。

使用孤立森林的前提是，將異常點定義為那些 “容易被孤立的離群點” —— 可以理解為分布稀疏，且距離高密度群體較遠的點。

圖片來源于網絡

從統計學來看，在數據空間里，若一個區域內只有分布稀疏的點，表示數據點落在此區域的概率很低，因此可以認為這些區域的點是異常的。

也就是說，孤立森林算法的理論基礎有兩點：

異常數據占總樣本量的比例很小；
異常點的特征值與正常點的差異很大。

項目實現

綜上所述，結合日常工作中的指標周期性的告警信息，通過算法編程，實現對指標的異常分析。

構建樹

模擬數據：

初始化：

取出樣本：

生成樹：

獲取深度：

異常判定：

END

本文作者：林志偉（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

GPU云服務器云服務器檢測網絡攻擊行為告警基于異常的入侵檢測檢測dns服務器異常 php 實現心跳檢測

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129435.html

vivo統一告警平臺設計與實踐

摘要：告警當一個問題通過告警系統將消息以短信電話郵件等方式告知給用戶時，我們稱之為一條告警。圖統一告警系統結構圖告警收斂對于告警平臺每天會產生數以萬計的告警，這些告警對于運維或開發人員都需要去分析甄別優先級并處理故障。一、背景一套監控系統檢測和告警是密不可分的，檢測用來發現異常，告警用來將問題信息發送給相應的人。v...

Rocko 2021-11-22 14:56 評論0 收藏0
AIOps在攜程的踐行

摘要：隨著人工智能時代的到來，攜程生產環境運維進入了新的運維時代。本文選取了幾種典型的運維場景對在攜程的踐行展開了介紹，首先讓我們從概念認識下。針對應用異常指標檢測這種場景，抽取一定的樣本統計，在基于專家經驗標注下的準確率可達到以上，召回率接近。作者簡介徐新龍，攜程技術保障中心應用管理團隊高級工程師，負責多個AIOps項目的設計與研發。信號處理專業碩士畢業，對人工智能、機器學習、神經網絡及數學有...

MingjunYang 2019-04-25 17:22 評論0 收藏0
應該對什么告警？

摘要：至少可以提幾點不應該做的事情不應該用采集的難度決定你使用什么指標去告警。告警的本質沒有多少系統的告警是設計得當的。良好的告警設計是一項非常困難的工作。如何知道你收到的告警是糟糕的？多少次你收到了告警之后，立即就關掉了的？是不是成天被這些然而并沒有什么卵用的東西給淹沒？最常見的告警設置：cpu使用率超過90%，然后告警。這種設置在大部分場合下是沒有辦法提供高質量的告警的。高質量...

endless_road 2019-06-24 17:46 評論0 收藏0
如何實現多維智能監控？--AI運維的實踐探索

摘要：近十年監控系統開發經驗，具有構建基于大數據平臺的海量高可用分布式監控系統研發經驗。監控多維數據特點監控的核心是對監控對象的指標采集處理檢測和分析。通過單一對象的指標反映的狀態已不能滿足業務監控需求。吳樹生：騰訊高級工程師，負責SNG大數據監控平臺建設。近十年監控系統開發經驗，具有構建基于大數據平臺的海量高可用分布式監控系統研發經驗。前言在2015年構建多維監控平臺時用kmeans做了異常點...

王軍 2019-04-25 17:22 評論0 收藏0
如何實現多維智能監控？--AI運維的實踐探索【一】

摘要：近十年監控系統開發經驗，具有構建基于大數據平臺的海量高可用分布式監控系統研發經驗。的哈勃多維監控平臺在完成大數據架構改造后，嘗試引入能力，多維根因分析是其中一試點，用于摸索的應用經驗。作者丨吳樹生：騰訊高級工程師，負責SNG大數據監控平臺建設。近十年監控系統開發經驗，具有構建基于大數據平臺的海量高可用分布式監控系統研發經驗。導語：監控數據多維化后，帶來新的應用場景。SNG的哈勃多...

xioqua 2019-06-26 18:18 評論0 收藏0
網絡安全態勢可視化

摘要：安全態勢可視化系統的目的是生成網絡安全綜合態勢圖，以多視圖多角度多尺度的方式與用戶進行交互。可以看到，黑客攻擊是無處不在，無時不有的，世界互聯網的安全態勢并不如我們印象中那么隱蔽和少見。導語網絡態勢可視化技術作為一項新技術，是網絡安全態勢感知與可視化技術的結合，將網絡中蘊涵的態勢狀況通過可視化圖形方式展示給用戶，并借助于人在圖形圖像方面強大的處理能力，實現對網絡異常行為的分析和檢測...

testHs 2019-08-20 15:18 評論0 收藏0