国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

OGG普通抽取模式轉(zhuǎn)換成集成模式遇到的坑

IT那活兒 / 2399人閱讀
OGG普通抽取模式轉(zhuǎn)換成集成模式遇到的坑
點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！
一

問題背景

大數(shù)據(jù)平臺需要通過配置OGG抽取進程，對數(shù)據(jù)庫中壓縮表進行抽取投遞，因為原始配置的OGG抽取進程是普通抽取模式，而普通抽取模式無法針對壓縮表進行抽取，需要升級OGG抽取模式從普通模式升級到集成捕捉模式，因生產(chǎn)環(huán)境按照標準設(shè)定的連接數(shù)是2000，當前固定的連接數(shù)一直維持在1800。

1）環(huán)境介紹

  • 數(shù)據(jù)庫版本：11.2.0.4
  • 操作系統(tǒng)內(nèi)核版本：Red Hat Enterprise Linux Server release 6.10 (Santiago)

  • 數(shù)據(jù)庫架構(gòu)：11G R2單實例數(shù)據(jù)庫

2）環(huán)境依賴

  • 測試環(huán)境
    數(shù)據(jù)庫版本：11.2.0.4  oracle數(shù)據(jù)庫
    OGG版本：12.1.2.1.10

    （此版本支持集成模式，可以抽取壓縮表，版本太低無法完成壓縮表的抽取）

  • 生產(chǎn)環(huán)境
    數(shù)據(jù)庫版本：11.2.0.4  oracle數(shù)據(jù)庫
    OGG版本：12.1.2.1.10
二

實際升級步驟

2.1 源環(huán)境現(xiàn)狀

源環(huán)境有兩組進程，一組是普通的抽取模式，一種是集成抽取模式。
因為KAFKA進程依賴的抽取數(shù)據(jù)和源進程有沖突，因此新建了針對多帶帶特定表的抽取投遞進程，普通抽取進程（Log Read Checkpoint  Oracle Redo Logs），集成模式抽取進程（Log Read Checkpoint  Oracle Integrated Redo Logs）。
集成模式依賴LogMiner的抽取進程：

2.2 測試環(huán)境模擬驗證

測試環(huán)境模式生產(chǎn),兩個抽取進程一個普通模式，一個集成模式,可以看到普通模式不會在數(shù)據(jù)庫中注冊進程，不會占用數(shù)據(jù)庫進程數(shù)。
見下圖可以看到集成模式會在數(shù)據(jù)庫中注冊捕獲進程，而普通模式不會，同時啟動集成模式會占用數(shù)據(jù)庫連接數(shù)15個。
2.3 升級集成模式

2.3.1 升級抽取進程

1）注冊抽取進程
stop EXT_KFK
register EXTRACT EXT_KFK database
2）啟動抽取進程確保抽取點在注冊進程之后，否則無法升級
start EXT_KFK
info EXT_KFK
3）升級抽取進程為集成模式
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
alter extract EXT_KFK ,downgrade tranlog

2.3.2 查看進程

可以看到新增抽取進程，數(shù)據(jù)庫會新增15條左右的連接數(shù)，需要確保連接數(shù)足夠，整體看連接數(shù)是充足的，整個升級過程中未預見超出預期的情況。

2.4 正式環(huán)境開始實施

stop EXT_KFK
register EXTRACT EXT_KFK database
start EXT_KFK
stop EXT_KFK
alter extract EXT_KFK ,upgrade integrated tranlog
同樣的操作，當執(zhí)行upgrade后：

1）數(shù)據(jù)庫連接數(shù)飆升

2）OGG 報ORA-01372錯誤

ORA-01372: 用于指定 LogMiner 操作的進程數(shù)不足。

3）數(shù)據(jù)庫alter報連接數(shù)超限進程未再次分配

2.5 回退

因連接限制升級并非成功，緊急回退：unregister EXTRACT EXT_KFK database。
由于此操作是下班時間做，系統(tǒng)使用的人少，進程超限后未再次分配，使得還有幾個空閑連接，緊急回退后連接數(shù)告警消除。
三

升級解決方案

此庫為1核128G單實例節(jié)點，DOP=128，由于OGG配置4路并發(fā)導致啟動升級后系統(tǒng)會形成4*128個并行進程去收集統(tǒng)計信息。
單實例數(shù)據(jù)：
ogg并發(fā)配置：

  • 1）增大process值（需要重啟數(shù)據(jù)庫）

    alter system set processes=3000 scope=spfile;

  • 2）調(diào)整parallelism為1

    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 4)  調(diào)整為
    TRANLOGOPTIONS INTEGRATEDPARAMS (max_sga_size 2048, parallelism 1)；

  • 3）調(diào)整并行度參數(shù)

    調(diào)整parallel_degree_limit,parallel_threads_per_cpu, cpu_count, or parallel_max_servers參數(shù)來限制并行度。


本文作者：朱澤劍(上海新炬中北團隊）

本文來源：“IT那活兒”公眾號

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129128.html

相關(guān)文章

  • OGG Integrated Native DDL簡單測試

    OGG Integrated Native DDL簡單測試 img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%;...

    IT那活兒 評論0 收藏1085

  • 重磅重構(gòu)開源 讓H5標簽代替C++實時解碼播放speex壓縮協(xié)議的音頻文件 【IM的福音】

    摘要：編碼結(jié)束后，調(diào)用函數(shù)，來銷毀和編碼器。調(diào)用函數(shù)對參數(shù)中的格式音頻數(shù)據(jù)幀進行解碼，參數(shù)中存放解碼后的音頻數(shù)據(jù)幀。調(diào)用函數(shù)來銷毀和解碼器說重點當做即時通信產(chǎn)品，像微信這種的手機端，它們接受到很有可能就是協(xié)議壓縮后的音頻文件。 showImg(https://segmentfault.com/img/bVbtzkh?w=1024&h=682); 這么牛逼的輪子，肯定要美圖鎮(zhèn)樓 Speex是一...

    curried 評論0 收藏0

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

閱讀更多
最新活動
閱讀需要支付1元查看
<