摘要:標題大數據處理平臺監控數據介紹年國內大數據公司強榜單排名已經公布了出來,大快以黑馬之姿闖入強,并摘得多項桂冠。本篇承接上一篇平臺監控參數說明,繼續就大快的大數據一體化處理架構中的平臺監控參數進行介紹和說明。
標題:DKhadoop大數據處理平臺監控數據介紹
2018年國內大數據公司50強榜單排名已經公布了出來,大快以黑馬之姿闖入50強,并摘得多項桂冠。Hanlp自然語言處理技術也榮膺了“2018中國數據星技術”獎。對這份榜單感興趣的可以找一下看看。本篇承接上一篇《DKM平臺監控參數說明》,繼續就大快的大數據一體化處理架構中的平臺監控參數進行介紹和說明。
DKhadoop大數據處理平臺架構的安裝相關文章已經分享過,詳細的內容可以找一下看看。在上一篇中已經就集群平均負載、集群磁盤使用情況、HDFS監控界面、Hbase監控界面等監控參數進行說明。今天就把剩下的一些監控參數一起介紹完,關于大快大數據處理平臺監控參數的介紹就完整了。
1、Yarn監控界面
(1) 執行失敗的應用程序
監控 yarn資源管理中總執行失敗的應用程序數量
縱軸表示應用程序數量,單位個
橫軸表示時間,單位分鐘
(2)已提交的應用程序
監控 yarn資源管理中已提交的應用程序數量
縱軸表示應用程序數量,單位個
橫軸表示時間,單位分鐘
(3)正在運行的應用程序
監控 yarn資源管理中正在運行的應用程序數量
縱軸表示應用程序數量,單位個
橫軸表示時間,單位分鐘
(4) 等待執行的應用程序
監控 yarn資源管理中等待執行的應用程序數量
縱軸表示應用程序數量,單位個
橫軸表示時間,單位分鐘
(5)已完成的應用程序
監控 yarn資源管理中已完成的應用程序數量
縱軸表示應用程序數量,單位個
橫軸表示時間,單位分鐘
(6)被kill的應用程序
監控 yarn資源管理中被殺死的應用程序數量
縱軸表示應用程序數量,單位個
橫軸表示時間,單位分鐘
2、Spark監控界面
注意:(spark 運行任務后才有監控數據)
(1) 最大可使用內存
監控 Spark 集群中最大可使用的內存
縱軸表示內存容量,單位MB
橫軸表示時間,單位分鐘
(2)已使用的內存
監控 Spark 集群中已經使用的內存
縱軸表示內存容量,單位MB
橫軸表示時間,單位分鐘
(3)剩余內存
監控 Spark 集群中剩余的內存
縱軸表示內存容量,單位(MB)
橫軸表示時間,單位分鐘
(4)Spark中任務數量
監控 Spark 集群中任務數量
縱軸表示內存容量,單位MB
橫軸表示時間,單位分鐘
(5)Spark中正在運行的任務數量
監控 Spark中正在運行的任務數量
縱軸表示內存容量,單位MB
橫軸表示時間,單位分鐘
(6)正在運行的stage數量
監控 Spark集群中正在運行的stage數量
縱軸表示stage數量,單位個
橫軸表示時間,單位分鐘
(7)失敗的stage數量
監控 Spark集群中運行失敗的stage數量
縱軸表示stage數量,單位個
橫軸表示時間,單位分鐘
(8)準備就緒的stage數量
監控 Spark集群中準備就緒的stage數量
縱軸表示stage數量,單位個
橫軸表示時間,單位分鐘
備注:
(橫軸的時間表示采集時間,一般是1分鐘一次)
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/71925.html
摘要:安裝包下載與監控參數說明前階段用了差不多兩周的時間把的運行環境搭建以及安裝的各個操作都介紹了一遍。我盡量把我知道的寫完吧本文的重點還是最上部分的安裝包下載,提取碼上面也給了。 DKhadoop安裝包下載與監控參數說明前階段用了差不多兩周的時間把DKhadoop的運行環境搭建以及安裝的各個操作都介紹了一遍。關于DKhadoop安裝包下載也只是順帶說了一下,但好像大快搜索的服務器在更新,新...
摘要:實用貼系統下載安裝教程在前幾篇的文章中分別就虛擬系統安裝系統安裝以及運行服務器的設置等內容寫了詳細的操作教程,本篇分享的是的下載安裝步驟。我讓他們去下載安裝試一下,至于后來試沒試就不得而知了。 實用貼:hadoop系統下載安裝教程在前幾篇的文章中分別就虛擬系統安裝、LINUX系統安裝以及hadoop運行服務器的設置等內容寫了詳細的操作教程,本篇分享的是hadoop的下載安裝步驟。在此之...
摘要:新手篇入門基礎教程關于的分享此前一直都是零零散散的想到什么就寫什么,整體寫的比較亂吧。上兩周寫的五篇內容,匯總到一起就算是新手入門的一個基礎性教程吧持續更新中。應該在改版完成后就可以正常申請下載了。 Hadoop新手篇:hadoop入門基礎教程關于hadoop的分享此前一直都是零零散散的想到什么就寫什么,整體寫的比較亂吧。最近可能還算好的吧,畢竟花了兩周的時間詳細的寫完的了hadoop...
摘要:入門學習教程完整安裝步驟使用版本是標準三節點發行版,版本的易用性比較好,環境部署要簡單的多,參考此篇安裝前請先下載版本,網盤鏈接提取碼第一部分準備工作大數據平臺所需配置系統位需默認安裝及以上。防止訪問服務器時某些服務被攔截需關閉防火墻。 hadoop入門學習教程--DKHadoop完整安裝步驟使用hadoop版本是DKH標準三節點發行版,DKHadoop版本的易用性比較好,環境部署要簡...
摘要:大數據框架服務角色介紹翻了一下最近一段時間寫的分享,發行版本下載安裝運行環境部署等相關內容幾乎都已經寫了一遍了。這些數據通常是由于吞吐量的要求而通過處理日志和日志聚合來解決。 大數據框架hadoop服務角色介紹翻了一下最近一段時間寫的分享,DKHadoop發行版本下載、安裝、運行環境部署等相關內容幾乎都已經寫了一遍了。雖然有的地方可能寫的不是很詳細,個人理解水平有限還請見諒吧!我記得在...
閱讀 2089·2021-11-24 10:34
閱讀 3064·2021-11-22 11:58
閱讀 3723·2021-09-28 09:35
閱讀 1736·2019-08-30 15:53
閱讀 2788·2019-08-30 14:11
閱讀 1561·2019-08-29 17:31
閱讀 548·2019-08-26 13:53
閱讀 2151·2019-08-26 13:45