資訊專欄INFORMATION COLUMN
摘要：大量的和分區會嚴重影響集群性能。介紹可參考收到離線分區總數異常告警一般是某個節點宕機或者服務異常導致。若服務卡住，可在評估后在控制臺重啟該節點服務。若想了解當前請求延時情況，建議關注平均請求延時監控項。
副本數量一般建議為 3。Partitions 數量可根據集群所有節點磁盤塊總數(如普通實例每個節點只掛載一塊磁盤，而均衡I/O型根據配置不同掛載2-8塊磁盤不等)和客戶端需要的并發量設置，一般建議不要設置過大，影響集群性能。
集群可以支持任意數量的Topic，建議使用較大規模Topic代替大量較小規模的Topic，例如：需要將消息按天區分，應該在每條消息上加上時間戳，而不是每天自動創建一個新的Topic。大量的Topic和分區會嚴重影響集群性能。
參考官方文檔
節點kafka-logs目錄下consumer_offset相關目錄占用大量磁盤空間不釋放，怎么處理 ？在增加topic的副本時，由于會復制數據，建議節點數據盤保留有足夠的空間。
__consumer_offset 是 Kafka 用來存放客戶端消費的 offset 信息的 Topic，默認采用壓縮策略。
修改 log.cleaner.enable 參數為 ture，然后按順序重啟每個節點kafka服務。
分區是Kafka中Topic的一個物理概念上的消息分塊，以實現服務的分布式與高可用。（Kafka介紹可參考intro）
收到離線分區總數異常告警一般是某個節點宕機或者服務異常導致?？赏ㄟ^UKafka console“節點管理”頁面，依次查看每個節點“關聯的Topic”信息，若為空，說明此節點異常，進而
可在“節點管理”中查看server.log，觀察是否有異常日志。若kafka服務卡住，可在評估后在控制臺重啟該節點kafka服務。
排查過程中，每個Topic的復制因子replication-factor盡量大于等于3，以避免單機故障帶來的業務不可用
集群默認配置 message.max.bytes 為 1MB，若需支持更大的消息，可通過集群參數配置管理修改 message.max.bytes，replica.fetch.max.bytes，consumer 端則需修改 fetch.message.max.bytes。
暫不提供外網訪問集群功能。
默認不支持單個節點縱向升級，如果需要擴充資源，可以橫向添加節點;如果遇到內存或其它單個節點的資源瓶頸，可以聯系我們提供后臺升級。
集群監控視圖頁面提供集群流入、流出數據量、消息個數監控，Kafka生產者、消費者監控數據，以及Zookeeper相關監控數據，并提供每個Broker上的CPU、MEM、磁盤、網卡，Kafka服務，以及Zookeeper監控數據； 可通過Kafka Manager頁面查看每個Topic、Broker的實時流量。
zookeeper最大延時（zk_max_latency）是表示集群創建以來出現過的請求延時最大值，無法代表當前狀態。若想了解當前zookeeper請求延時情況，建議關注平均請求延時監控項。
目前控制臺消費者信息是根據消費者類型分別通過訪問 zookeeper 或者調用 kafka api 得到的，但是 kafka 客戶端 sdk 可以靈活的決定對消費者信息的存儲方式，所以在使用沒有以標準方式存儲信息的 sdk 時，消費者信息可能會獲取錯誤。對于這些消費者，我們目前沒有去多帶帶適配，已知會出現問題的 sdk 有：
pykafkahttps://github.com/Parsely/pykafka/issues/888https://github.com/Parsely/pykafka/issues/567jstorm：不會按標準的方式存儲消費者組信息，是由自己管理消費實例與 topic partition 的對應關系以及對應的 offset，部分信息存儲在 zookeeper 的/jstorm 路徑下flink 0.9 版本的 kafka 消費信息由自己管理，不會在 kafka 這邊注冊生成 group 信息在遇到獲取信息錯誤時，可以先使用 kafka-consumer-groups.sh --bootstrap-server $(hostname):9092 --describe --group $group 命令確認消費者是否有信息缺失或者錯誤。
擴容節點后，在原來機器上的 topic partition 不會自動均衡到新的機器，需要使用分區重新分配工具來均衡
控制臺提供的功能是Automatically migrating data to new machines的部分
文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。
轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/127092.html
摘要：集群管理集群管理集群管理本篇目錄創建集群創建集群調整集群參數調整集群參數創建集群創建集群創建集群點擊控制臺左上角全部產品選擇消息隊列也可鎖定到左側菜單欄。選擇完畢后，進入集群設置頁面，可對集群參數進行配置。 集群管理本篇目錄創建集群調整集群參數創建集群1. 點擊控制臺左上角全部產品選擇Kafka消息隊列 UKafka,也可鎖定到左側菜單欄。2. 進入UKafka操作界面，點擊創建集群進行UK...
摘要：快速開始本例以數據同步到來做說明。創建連接器點擊創建連接器按鈕，打開配置頁面。若下游為，則需配置路徑，若為，則需填寫信息。連接器列表詳情頁數據驗證參考，為集群創建，并寫入消息到其中?？焖匍_始本例以UKafka數據同步到UHadoop來做說明。創建連接器點擊【創建連接器】按鈕，打開配置頁面。配置連接器基本信息配置按需填寫?！旧嫌巍恳鉃镵afka連接器上游的Kafka集群，【下游】意為Kafka...
摘要：性能測試性能測試性能測試上游，下游是的連接器節點數分區數數消息大小機型速度消息數核核核核核核核上游，下游是連接器節點數分區數數消息大小機型版本機型節點數分片數副本數速度消息數核核核核核核核核核 性能測試上游UKafka，下游是UHadoop的HDFS 連接器節點數分區數broker數消息大小/byteskafka機型hadoopmasterhadoopcore速度(消息數/s)1331024...
摘要：性能測試性能測試性能測試在不同機型集群默認配置下，利用腳本進行性能基準測試測試結果下載 性能測試在不同機型 ukafka 集群默認配置下，利用 kafka-producer-perf-test.sh 腳本進行性能基準測試測試結果下載
摘要：監控視圖監控視圖監控視圖集群監控集群監控提供小時至天多個維度的集群流入流出數據量和消息個數監控，生產者消費者監控數據，以及相關監控數據。節點監控節點監控提供每個上的磁盤網卡，服務，以及監控數據 監控視圖集群監控提供1小時至15天多個維度的集群流入、流出數據量和消息個數監控，Kafka生產者、消費者監控數據，以及Zookeeper相關監控數據。節點監控提供每個Broker上的CPU、MEM、磁...
閱讀 472·2024-11-07 18:25
閱讀 130815·2024-02-01 10:43
閱讀 951·2024-01-31 14:58
閱讀 916·2024-01-31 14:54
閱讀 83027·2024-01-29 17:11
閱讀 3286·2024-01-25 14:55
閱讀 2076·2023-06-02 13:36
閱讀 3189·2023-05-23 10:26
