zookeeper節點注冊信息故障處理

IT那活兒發布于2023-01-11 13:20 / 972人閱讀

zookeeper節點注冊信息故障處理

點擊上方“IT那活兒”，關注后了解更多精彩內容！！！

背景

隨著技術與業務的發展，系統容器化及分布式等開源組件的運用越來越廣泛，運維工程師面臨著相當大的挑戰。現在我就為大家帶來一份zookeeper開源組件故障的處理案例，把故障處理的過程分享給大家。

故障處理

某月某日某分某省B中心地市出現訂購活動產品失敗，報錯信息如下圖：

通過報錯信息推測出該應用系統dsf框架調用192.168.***.***失敗（dsf框架是華為研發的一種分布式架構）。

登錄k8s確實沒有192.168.***.***容器，pod確實消亡了，此時懷疑zookeeper中沒有該pod節點的注冊信息。

登錄任意一臺zookeeper服務器，進入zookeeper，查看注冊信息：

cd /home/zookeeper/zookeeper/app/zookeeper/bin;
./zkCli.sh -server 10.25.***.**:****

ls /dsf2/pc_expCrmGateService/providers進入后輸入以下命令：

注冊信息如下：

會顯示zookeeper中的各個pod的虛IP，每個虛IP以“，”分隔。

這時需要查看報錯中192.168.***.***虛擬IP是否在這些信息中；當時經查詢后發現注冊信息中是含有這個已經消亡的虛擬IP。

此時初步定位故障原因是容器pod消亡后zookeeper中虛IP未進入黑名單，系統仍調用消亡的pod。

針對這個問題，登錄zookeeper后，刪除zookeeper注冊信息中消亡的容器pod虛IP后，重啟云化系統相關容器后，業務恢復正常。

delete 
/dsf2/pc_expCrmGateService/providers/POJO%3A%2F%2F192.168.***.***%3A29024%2Fpc_expCrmGateService%3Fcategory%3Dproviders%
26application%3Dpc-
gate%26version%3D0.0.0%26dsf%3D2.0%26group%3Ddefault%26weigh
t%3D10%26executes%3D0%26pid%3D763%26methods%3DcommonInvoke%2
Cnotrans_opcodeCall%2CopcodeCall%26interface%3Dcom.huawei.cr
m3ms.frame.service.dict.intf.ICrmGateService%26type%3DPOJO%2
6serviceType%3DDSF%26lang%3Djava%26appInstanceId%3D192.168.***.***%26clusterId%3D192.168.***.***

后續改進

針對這起故障，增加zookeeper注冊信息與容器運行狀態一致性監控，用來監控微服務pod消亡后zookeeper中虛IP未進入黑名單問題。

END

更多精彩干貨分享

點擊下方名片關注

IT那活兒

云服務器 GPU云服務器故障處理服務器故障處理公司服務器故障處理服務器故障處理流程

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129741.html

大牛整理的ZooKeeper筆記

摘要：除此之外，它嚴格的序列訪問控制意味著復雜的控制原語可以應用在客戶端上。版本號對節點的每一個操作都將致使這個節點的版本號增加。事件是一次性的觸發器，當的對象狀態發生改變時，將會觸發此對象上所對應的事件。節點事件節點的建立，刪除，數據的修改。目錄一、ZooKeeper概述二、ZooKeeper數據模型三、ZooKeeper服務中操作四、Watch觸發器五、ZooKeeper應用...

Noodles 2019-08-16 17:41 評論0 收藏0
微服務之eureka

摘要：服務器用作服務注冊服務器。此時，這個節點對于新的服務還能提供注冊服務，對于死亡的仍然保留，以防還有客戶端向其發起請求。的構架保證了它能夠成為發現服務。本帖最后由 yqw_gz_java 于 2019-8-15 14:26 編輯與ZooKeeper 一樣eureka 都可以注冊服務發現服務CAP定理在分布式系統領域有個著名的CAP定理（C-數據一致性；A-服務可用性；P-服務對網絡分...

Dean 2019-08-19 10:32 評論0 收藏0
2018年第16周-ZooKeeper基本概念（配搭建過程和Master-Workers例子）

摘要：有可能是宕機或負荷嚴重的情況導致的。為分布式系統提供了協調功能和控制沖突。背景隨著計算機的硬件和操作系統兩者相輔相成地發展，從早期的ENIAC計算機到現在的x86的計算機，從以前的單一控制終端（Single Operator, Single Console, SOSC）的操作系統到現在百花爭鳴的操作系統（如MacOS、Windows、Linux等），現代的操作系統發展還有一個最重要...

wemall 2019-08-15 15:39 評論0 收藏0
2021 年最新基于 Spring Cloud 的微服務架構分析

摘要：是一個相對比較新的微服務框架，年才推出的版本雖然時間最短但是相比等框架提供的全套的分布式系統解決方案。提供線程池不同的服務走不同的線程池，實現了不同服務調用的隔離，避免了服務器雪崩的問題。通過互相注冊的方式來進行消息同步和保證高可用。 Spring Cloud 是一個相對比較新的微服務框架，...

cikenerd 2021-11-19 09:40 評論0 收藏0