OGG是一種基于日志的結(jié)構(gòu)化數(shù)據(jù)復(fù)制軟件,它通過解析源數(shù)據(jù)庫在線日志或歸檔日志獲得數(shù)據(jù)的增刪改變化(數(shù)據(jù)量只有日志的四分之一左右),其能夠?qū)崿F(xiàn)大量交易數(shù)據(jù)的實(shí)時(shí)捕捉,變換和投遞,實(shí)現(xiàn)源數(shù)據(jù)庫與目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)同步,保持最少10ms的數(shù)據(jù)延遲。
主要應(yīng)用場景有:
1.高可用容災(zāi),數(shù)據(jù)庫遷移、升級(支持跨版本、異構(gòu)數(shù)據(jù)庫、零宕機(jī)時(shí)間、亞秒級恢復(fù))
2.實(shí)時(shí)數(shù)據(jù)集成(支持異構(gòu)數(shù)據(jù)庫、多源數(shù)據(jù)庫)
工作原理圖如下:
源端通過抽取進(jìn)程提取redolog或archivelog日志內(nèi)容,通過pump進(jìn)程(TCP/IP協(xié)議)發(fā)送到目標(biāo)端,最后目標(biāo)端的rep進(jìn)程接收日志、解析并應(yīng)用到目標(biāo)端,進(jìn)而完成數(shù)據(jù)同步。
GoldenGate主要包含Manager進(jìn)程、Extract進(jìn)程、Pump進(jìn)程、Replicat進(jìn)程
1) Manager進(jìn)程
無論是源端還是目標(biāo)端有且只有一個(gè)Manager進(jìn)程(主要用于啟動、關(guān)閉、監(jiān)控其他進(jìn)程的健康狀態(tài),報(bào)告錯(cuò)誤事件、分配數(shù)據(jù)存儲空間,發(fā)布閥值報(bào)告等)
2) Extract進(jìn)程
數(shù)據(jù)庫源端進(jìn)程,負(fù)責(zé)從源端數(shù)據(jù)表或日志中捕獲數(shù)據(jù),當(dāng)事務(wù)提交時(shí),所有和該事務(wù)相關(guān)的日志記錄被以事務(wù)為單元順序的記錄到trail文件中。
Extract進(jìn)程利用其內(nèi)在的checkpoint機(jī)制,周期性的記錄其讀寫的位置,實(shí)現(xiàn)斷點(diǎn)同步。
Extract有兩種捕獲模式
A.傳統(tǒng)模式
抽取方式:基于在線日志或歸檔日志進(jìn)行抽取
B.Integrated模式(Oracle Goldengate11g版本)
抽取方式:Logminingserver負(fù)責(zé)以LCR格式從數(shù)據(jù)庫日志中捕獲數(shù)據(jù)變化,extract進(jìn)程再將這些數(shù)據(jù)存入trail文件。
3) Pump進(jìn)程(可選)
運(yùn)行在數(shù)據(jù)庫源端,其作用是將源端產(chǎn)生的本地trail文件,把trail以數(shù)據(jù)塊的形式通過TCP/IP協(xié)議發(fā)送到目標(biāo)端(主要優(yōu)點(diǎn)就是當(dāng)目標(biāo)端或者網(wǎng)絡(luò)失敗,源端的Extract進(jìn)程不會意外終止),但是如果如果不使用trail文件,那么extract進(jìn)程在抽取完數(shù)據(jù)以后,直接投遞到目標(biāo)端,生成遠(yuǎn)程trail文件,那么這時(shí)候,Pump進(jìn)程就可以不用配置(存在)了。
4) Replicat進(jìn)程
標(biāo)端進(jìn)程,負(fù)責(zé)讀取源端傳送到目標(biāo)端的trail文件中的內(nèi)容,并將其解析為DML或DDL語句,然后應(yīng)用到第三方(數(shù)據(jù)庫,kafka等異構(gòu)平臺)。
Replicat兩種模式
A.傳統(tǒng)模式:基于sql交付,最常用的一種方式
B.Integrated模式(OGG12c)
Replicat操作的過程如下:
讀取源端傳輸過來的trail 文件;執(zhí)行data數(shù)據(jù)過濾和轉(zhuǎn)換操作;
DML操作:根據(jù)commit順序,構(gòu)造LCR;DDL操作:Replicat進(jìn)程直接apply;
Replicat通過lightweightstreaming 接口和目標(biāo)庫后臺進(jìn)程(Databaseinbound server)建立連接;
將LCR傳輸?shù)絠nboundserver,然后apply這些數(shù)據(jù)到目標(biāo)數(shù)據(jù)庫。
源端數(shù)據(jù)庫配置要求
配置歸檔
altersystem set log_archive_dest_1 =LOCATION=/data/arch scope =spfile;
需要開啟force log 和supplemental log
alterdatabaseforce logging;
alterdatabaseaddSUPPLEMENTAL log data;
altersystem set enable_goldengate_replication=true scope=both;
altersystem switch logfile;
檢查配置需如下
selectNAME,OPEN_MODE,FORCE_LOGGING,SUPPLEMENTAL_LOG_DATA_MINfromv$database;
如果要讓GoldenGate支持DDL操作,還需要額外運(yùn)行幾個(gè)腳本,這些腳本是OGG帶的,在GoldenGate的安裝目錄都可以找到,源端執(zhí)行如下:
@marker_setup.sql
@ddl_setup.sql
@role_setup.sql
@ddl_enable.sql
#目標(biāo)端&源端
創(chuàng)建OGG安裝用戶(可選,可以用Oracle用戶)
useradd-u 1003 -g oinstall -G dbaogg
passwdogg
#源端
修改安裝用戶環(huán)境變量
PATH=$PATH:$HOME/.local/bin:$HOME/bin
exportPATH
exportNLS_LANG=AMERICAN_AMERICA.ZHS16GBK
exportORACLE_BASE=/u01/app/oracle
exportORACLE_HOME=$ORACLE_BASE/product/11.2.0/db_1
exportORACLE_SID=orcl
exportPATH=$PATH:HOME/bin:$ORACLE_HOME/bin
exportGGDATE=/data/ogg/ogg_install
exportLD_LIBRARY_PATH=$ORACLE_HOME/lib
source/home/ogg/.bash_profile
OGG軟件安裝
創(chuàng)建OGG安裝目錄
mkdir-p /data/ogg
chown-R ogg:oinstall /data/ogg
解壓安裝
unzip191004_fbo_ggs_Linux_x64_shiphome.zip -d /data/ogg/
cd/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response
進(jìn)入解壓后的目錄,修改配置文件中如下參數(shù)
執(zhí)行靜默安裝
cd/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1
./runInstaller-silent -responseFile/data/ogg/fbo_ggs_Linux_x64_shiphome/Disk1/response/oggcore.rsp
進(jìn)入軟件安裝路徑
./ggsci
源端OGG軟件安裝成功。
目標(biāo)端大數(shù)據(jù)OGG軟件安裝
軟件解壓和安裝同源端
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://m.specialneedsforspecialkids.com/yun/129961.html
摘要:表示科氏和金門資本一直是卓越的合作伙伴,我們?nèi)蛎麊T工對這一里程碑感到十分興奮,因?yàn)槲覀円呀?jīng)為下一階段的業(yè)務(wù)增長做好了準(zhǔn)備。那就是被收購,作為私募資本,無論還是金門資本,最終尋求的都是一個(gè)很好的退出價(jià)格。眾所周知,有些企業(yè)天生好斗,而有些就比較佛系,比如傳統(tǒng)企服大廠Infor就是一家比較恬淡的廠商,不僅我們在國內(nèi)較少看到它的消息,甚至是在國外市場中,Infor也是相對比較冷一些的廠商。從某種...
摘要:放棄一個(gè)一云即合一的方法,并使用來自不同云提供商的多個(gè)服務(wù),提供一系列美國電信巨頭在云計(jì)算公司的幫助下,作為一個(gè)三年期交易的一部分,據(jù)說超過。關(guān)系數(shù)據(jù)庫在這里待著在企業(yè)中處于更大的云和數(shù)據(jù)復(fù)雜性中關(guān)系數(shù)據(jù)庫的死亡報(bào)告已經(jīng)被極大地夸大了,至少在企業(yè)中是這樣的。根據(jù)一項(xiàng)來自Progress Software的新研究,公司最新的年度數(shù)據(jù)連接報(bào)告而內(nèi)部部署的關(guān)系報(bào)告l SQL Server、MySQ...
當(dāng)涉及古代神靈和英雄的故事時(shí),很多神話都是有益和有趣的。然而,當(dāng)一些業(yè)界神話妨礙IT或企業(yè)成功時(shí),那么可能會讓他們感到困擾。因此,一些頑固的錯(cuò)誤觀念可能會阻礙或延遲采用可能具有生產(chǎn)力的云計(jì)算服務(wù)。銀行控股機(jī)構(gòu)Capital One公司云計(jì)算戰(zhàn)略副總裁Bernard Golden表示:我們?nèi)匀惶幱谠朴?jì)算革命的早期階段,但通過遷移到云平臺可以看到早期采用者所取得的成果。如果未能認(rèn)識到這場革命的影響,不...
摘要:作者譚峰張文升出版日期年月頁數(shù)頁定價(jià)元本書特色中國開源軟件推進(jìn)聯(lián)盟分會特聘專家撰寫,國內(nèi)多位開源數(shù)據(jù)庫專家鼎力推薦。張文升中國開源軟件推進(jìn)聯(lián)盟分會核心成員之一。 很高興《PostgreSQL實(shí)戰(zhàn)》一書終于出版,本書大體上系統(tǒng)總結(jié)了筆者 PostgreSQL DBA 職業(yè)生涯的經(jīng)驗(yàn)總結(jié),本書的另一位作者張文升擁有豐富的PostgreSQL運(yùn)維經(jīng)驗(yàn),目前就職于探探科技任首席PostgreS...
閱讀 1353·2023-01-11 13:20
閱讀 1699·2023-01-11 13:20
閱讀 1211·2023-01-11 13:20
閱讀 1902·2023-01-11 13:20
閱讀 4161·2023-01-11 13:20
閱讀 2751·2023-01-11 13:20
閱讀 1397·2023-01-11 13:20
閱讀 3664·2023-01-11 13:20