Hadoop集群數(shù)據(jù)均衡處理案例

IT那活兒發(fā)布于2023-01-11 13:20 / 963人閱讀

背景

某hadoop集群的某個datanode節(jié)點主機有壞盤，但是沒有配件及時更換，當幾天后更換，啟動datanode節(jié)點時，CM界面顯示對應(yīng)的XDYDAT10主機可用空間告警。如下圖：

檢查該datanode空間使用情況：hdfs使用率86.88%，剩余空間976.62GB，但是主機單個磁盤空間大都100%。如下圖：

而且執(zhí)行數(shù)據(jù)均衡時，顯示“Thecluster is balanced”，程序退出。

處理方法

通過CM界面，在HDFS實例界面，選擇XDYDAT10，停止其datanode服務(wù)。如下圖：

若干小時后(本次操作是3小時左右后)，通過CM界面，在HDFS實例界面，選擇XDYDAT10，啟動其datanode服務(wù)。如下圖：

XDYDAT10主機datanode服務(wù)啟動后，再次檢查空間使用情況：可用空間都在400GB以上。如下圖：

并且檢查所有datanode節(jié)點，停止和啟動節(jié)點前后，hdfs使用情況：停止datanode服務(wù)前，很多空間使用達100%(如下左圖)；停止再次啟動后，空間有所均衡，無100%使用情況(如下右圖)。

最后，再次執(zhí)行均衡操作，能正常執(zhí)行數(shù)據(jù)均衡，等待數(shù)據(jù)均衡即可。

均衡詳解

因當前發(fā)生問題的為老版本的cloudera集群（CDH5.2.1），在CDH5.10以前，balancer程序只會在節(jié)點之間平衡，當所有節(jié)點與集群之間已經(jīng)平衡的情況下，運行balancer程序并不會發(fā)生任何數(shù)據(jù)的遷移和轉(zhuǎn)移，只能采用本文使用的方法進行嘗試，停止磁盤空間緊張的節(jié)點，讓hdfs為了維持數(shù)據(jù)的3副本在其他數(shù)據(jù)節(jié)點生成已停止的datanode那部分冗余數(shù)據(jù)，然后再啟動停止的datanode，以達到遷移數(shù)據(jù)的目的，釋放部分緊張的空間，但是此法并不智能。

在CDH5.10以后，hdfs加入了diskbalancer程序，可以在某個數(shù)據(jù)節(jié)點內(nèi)部，對多個磁盤數(shù)據(jù)使用率偏差太大的情況進行平衡，此方法更智能更安全。

參數(shù)如下圖：

本案例，啟停磁盤空間不足的datanode節(jié)點后，再使用hdfsbalancer -threshold 1運行均衡器進行數(shù)據(jù)均衡，最終達到集群數(shù)據(jù)均衡。

HDFS均衡器是Hadoop提供的工具，使用該工具可以將數(shù)據(jù)從空間使用率高的datanodes移動數(shù)據(jù)塊到利用不足的datanode節(jié)點，從而均衡集群的DataNode數(shù)據(jù)。其中threshold參數(shù)表示每個datanode的HDFS使用率于集群的平均DFS利用率的偏差百分比。另外，若直接運行hdfsbalancer時，偏差百分比默認值為10%。

最后，希望以上解釋說明對各位有所幫助，謝謝。