跨IDC同步工具及常用場(chǎng)景介紹

IT那活兒發(fā)布于2023-01-11 13:20 / 4050人閱讀

一. 跨IDC同步工具簡(jiǎn)介

典型管理系統(tǒng)架構(gòu)，Manager（web管理，包含全量同步工具）+Node（工作節(jié)點(diǎn)）
manager運(yùn)行時(shí)推送同步配置到node節(jié)點(diǎn)（rpc）
node節(jié)點(diǎn)將同步狀態(tài)反饋到manager上（rpc）
基于zookeeper，允許多Node節(jié)點(diǎn)之間協(xié)同工作。
配置信息和同步日志保存在數(shù)據(jù)庫DB中。

Select日志抽取，轉(zhuǎn)換為組件內(nèi)部事件。
Extract記錄反查，補(bǔ)全變更記錄。
Transform表名/字段轉(zhuǎn)換；load加載入庫。

二. 三種部署方式

node可以有三種部署方式：

全部部署在生產(chǎn)機(jī)房；
全部部署在災(zāi)備（目標(biāo)端）機(jī)房；
分別部署在兩個(gè)機(jī)房中，其中生產(chǎn)機(jī)房中的node負(fù)責(zé)SE階段，災(zāi)備（目標(biāo)端）機(jī)房中的node負(fù)責(zé)TL階段，不同機(jī)房中的node通過rpc或http通信。

三種方式各有優(yōu)劣，用戶可根據(jù)實(shí)際環(huán)境中的網(wǎng)絡(luò)速度、機(jī)器硬件、數(shù)據(jù)庫性能等條件選擇最優(yōu)方案。

三. 跨IDC同步工具常用應(yīng)用場(chǎng)景

跨IDC工具支持的同步場(chǎng)景：

生產(chǎn)中常用的源端數(shù)據(jù)庫類型為Oracle、MySQL、分布式TeleDB、PostgreSQL

常用的目標(biāo)端類型為Oracle、MySQL、分布式TeleDB、PostgreSQL、Kafka。

場(chǎng)景1：獲取MySQL數(shù)據(jù)庫增量日志數(shù)據(jù)（MySQL主備復(fù)制實(shí)現(xiàn)）

master將改變記錄到二進(jìn)制日志(binary log)中；
slave將master的binary log events拷貝到它的中繼日志(relay log)；
slave重做中繼日志中的事件，將改變反映它自己的數(shù)據(jù)。

Canal的工作原理

canal模擬mysql slave的交互協(xié)議，偽裝自己為mysql slave，向mysql master發(fā)送dump協(xié)議。
mysql master收到dump請(qǐng)求，開始推送binary log給slave(也就是canal)。
canal解析binary log對(duì)象(原始為byte流)。

場(chǎng)景2：通過oracle物化視圖解決oracle數(shù)據(jù)源增量數(shù)據(jù)抽取問題，采用消息隊(duì)列緩沖減少源庫的壓力，使用統(tǒng)一格式封裝處理與數(shù)據(jù)同步組件無縫銜接，實(shí)現(xiàn)oracle源數(shù)據(jù)的并行實(shí)時(shí)傳輸。