摘要:組件用于收集的,并準實時同步給下游,如等。為方便用戶和開發者更加深入理解和使用組件,以及基于組件做二次開發用于更多的業務場景,我們決定今天正式開源組件。近期我們將發布源碼閱讀指南,敬請期待。
TiDB Binlog 組件用于收集 TiDB 的 binlog,并準實時同步給下游,如:TiDB/MySQL等。該組件在功能上類似于 MySQL 的主從復制,會收集各個 TiDB 實例產生的 binlog,并按事務提交的時間排序,全局有序的將數據同步至下游。利用 TiDB Binlog 可以實現數據準實時同步到其他數據庫,以及 TiDB 數據準實時的備份與恢復。TiDB Binlog 作為 TiDB 的核心組件之一,已經在上百家用戶的生產環境中長時間穩定運行。
為方便用戶和開發者更加深入理解和使用 TiDB Binlog 組件,以及基于 TiDB Binlog 組件做二次開發用于更多的業務場景, 我們決定今天正式開源 TiDB Binlog 組件。
TiDB Binlog 適用的功能場景準實時數據同步:同步 TiDB 數據到其他數據庫或消息隊列(如TiDB/MySQL/MariaDB/Kafka)。
準實時備份和恢復:增量備份 TiDB 集群數據到外部系統,利用備份的數據在系統故障或者其他場景時可將數據恢復到任意時間點。
TiDB Binlog 架構 TiDB Binlog 核心特性支持類似 MySQL ROW 復制模式。
準實時并按事務提交的時間順序將數據同步至下游。
分布式架構設計,支持水平彈性擴容和服務高可用。
數據高可靠,系統實時將數據持久化到本地磁盤。
支持多種輸出方式,如下:
文件:系統準實時將 binlog 寫入文件系統作為增量備份,利用此增量備份文件可將數據恢復到任意時間點。
消息隊列:按照 binlog slave protocol 輸出到 Kafka。
下游目標數據庫:TiDB/MySQL/MariaDB。
TiDB Binlog 代碼及文檔資源TiDB Binlog 源代碼
TiDB Binlog 使用手冊
深入理解 TiDB Binlog 組件實現原理
定制輸出方式或者輸出到其他下游存儲系統
歡迎大家一起參與 TiDB Binlog 的設計、研發、測試共同推進 TiDB Binlog 走向更成熟,更穩定。近期我們將發布 TiDB Binlog 源碼閱讀指南,敬請期待。
文章版權歸作者所有,未經允許請勿轉載,若此文章存在違規行為,您可以聯系管理員刪除。
轉載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/18016.html
摘要:原理解讀介紹項目地址是用于將數據從遷移到的工具。該工具既支持以全量備份文件的方式將的數據導入到,也支持通過解析執行的方式將數據增量同步到。特別地,對于有多個實例的分庫分表需要合并后同步到同一個集群的場景,提供了良好的支持。 在剛剛結束的 TiDB DevCon 2019 上,我們宣布將大家期待已久的 TiDB-Ligthning Toolset 和 TiDB-DM 開源(驚不驚喜、意不...
閱讀 838·2021-09-22 15:18
閱讀 1191·2021-09-09 09:33
閱讀 2761·2019-08-30 10:56
閱讀 1196·2019-08-29 16:30
閱讀 1494·2019-08-29 13:02
閱讀 1464·2019-08-26 13:55
閱讀 1650·2019-08-26 13:41
閱讀 1947·2019-08-26 11:56