Kafka跨網絡使用問題排查

IT那活兒發布于2023-01-11 13:19 / 3473人閱讀

Kafka跨網絡使用問題排查

點擊上方“IT那活兒”公眾號，關注后了解更多內容，不管IT什么活兒，干就完了！！！

近期在實現某個功能點上線生產環境，發現訪問受限，導致采集的數據無法入到kafka，碰到此類問題，我們把分析過程記錄一下。

一

功能流程

分部：通過調度平臺定期采集指標數據，執行器采集數據后，將數據外吐給總部slb。
總部：利用 slb 配置代理轉發到kafka ，然后由數據處理模塊對kafka 數據做相關邏輯處理。

二

問題描述

當采集執行器采集到指標數據發送給slb ，再由slb 將數據轉發到kafka ，后臺提示如下報錯信息：

Connection to node 0 (/21.xx.xx.7:xx) could not be established. Broker may not be available.

從錯誤信息提示kafka地址與端口無法調通，broker 不可用。

三

問題分析

針對此類問題，采用分段分析方式對問題進行排查分析：

1）網絡檢查從省端ping 及telnet 到集團端服務情況如下

省端到集團端slb網絡正常。
省端和集團分屬不同的網絡，省側到集團端kafka網絡受限，kafka是集團內部服務，不直接開放給省側訪問。

2）省側采集程序排查

在省側部署跟集團側相同版本kafka 環境，利用Kafka 客戶端命令連接集團slb進行生產消息，提示超時報錯信息，通過這種驗證方式，可以排出不是省側調度程序的問題。

org.apache.kafka.common.errors.TimeoutException: Topic not present in metadata

3）集團側鏈路排查

驗證集團側slb到kafka 網絡是相通的。
集團側部署一個新的kafka 服務，利用Kafka 客戶端命令遠程連接集團slb/kafka進行生產消息，kafka topic 能正常收到信息。

通過以上兩個排出集團側內部鏈路問題。

四

問題解決

從上面幾點分析，可以排查出省側與集團側自身的鏈路問題，省側程序是直接跟slb 進行通訊，但又提示連接Kafka超時報錯信息，檢查slb 到kafka 本身鏈路也沒有問題，說明問題出在跨網絡使用kafka 造成的原因。

第一次交互流程（1/2/3/4）客戶端獲取到的真實的kafka的ip信息，而第二次交互的時候client會根據kafka 的ip 信息直接去訪問kafka 地址，因為跨網絡受限，所以第二次交互出現連接超時報錯現象。

針對跨網絡使用kafka情況下，需要在kafka 開啟advertised.listeners參數配置。根據此參數描述，它是用于暴露給外部的listeners，如果沒有設置，會讀取listeners參數內容，而listeners參數記錄的是本機kafka 監聽端口。

# Hostname and port the broker will advertise to producers and consumers. If not set,
# it uses the value for "listeners" if configured. Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
#advertised.listeners=PLAINTEXT://your.host.name:9092

當省側客戶端發送數據第一次跟slb建立連接后，kafka 會返回advertised.listenersr所配置的內容給客戶端，后面省側客戶端會根據advertised.listenersr的值解析出對應的域名或者ip。根據這些信息，客戶端再次訪問到slb，由slb 轉發到真實Kafka服務，才能實現鏈路流轉正常。

advertised.listeners=PLAINTEXT://slb ip 地址:9092

因為跨網絡受限，對外提供服務listeners 配置成slb ip或者域名及對應的端口，不能配置成kafka 自身的ip 與端口，才能在跨網絡下通過代理轉發方式給后端kafka 推送數據。

本文作者：長研架構小組（上海新炬王翦團隊）

本文來源：“IT那活兒”公眾號

云服務器 GPU云服務器 apache問題排查服務器一般問題排查云服務器ecs服務器訪問異常問題排查指引云服務器ecs linux io占用高問題排查方法

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129251.html

TiDB 在摩拜單車的深度實踐及應用

摘要：本文會選擇三個場景，給大家簡單介紹一下在摩拜單車的使用姿勢遇到的問題以及解決方案。圖在線業務集群拓撲圖四數據沙盒集群離線業務數據沙盒，屬于離線業務集群，是摩拜單車的一個數據聚合集群。作者介紹：呂磊，摩拜單車高級 DBA。一、業務場景摩拜單車 2017 年開始將 TiDB 嘗試應用到實際業務當中，根據業務的不斷發展，TiDB 版本快速迭代，我們將 TiDB 在摩拜單車的使用場景逐漸...

Paul_King 2019-06-25 19:03 評論0 收藏0
網易云捕性能踩坑解決之道上篇

摘要：從零開始設計開發一個日處理數據億的大數據高并發實時系統，哪些性能問題需要特別注意這里我們一起梳理一下本文中我將以，同學戲稱的系統網易云捕設計開發實踐中兩年的時間里碰到的真實問題，踩過的坑及解決問題的方法和大家一起討論如何解決這些問題。本文由作者余寶虹授權網易云社區發布。從零開始設計開發一個日處理數據8億的大數據高并發實時系統，哪些性能問題需要特別注意？這里我們一起梳理一下,本文中我...

李義 2019-06-28 11:08 評論0 收藏0
強如 Disruptor 也發生內存溢出？

摘要：結合的日志發現就算是發生了老年代也已經回收不了，內存已經到頂。定位由于生產上的內存文件非常大，達到了幾十。也是由于我們的內存設置太大有關。同時后臺也開始打印內存溢出了，這樣便復現出問題。結果發現類型的對象占用了將近的內存。 showImg(https://segmentfault.com/img/remote/1460000016186784?w=2048&h=1365); 前言 Ou...

amuqiao 2019-08-19 11:02 評論0 收藏0
騰訊云分布式高可靠消息隊列CMQ架構最佳實踐

摘要：是騰訊云內部自研基于的高可靠強一致可擴展分布式消息隊列，在騰訊內部包括微信手機業務紅包騰訊話費充值廣告訂單等都有廣泛使用。目前已上線騰訊云對外開放，本文對核心技術原理進行分享介紹。 ? 極牛技術實踐分享活動極牛技術實踐分享系列活動是極牛聯合頂級VC、技術專家，為企業、技術人提供的一種系統的線上技術分享活動。每期不同的技術主題，和行業專家深度探討，專注解決技術實踐難點，推動技術創新，...

Ku_Andrew 2019-08-06 13:18 評論0 收藏0