国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

Greenplum表故障處理--Primary和mirror

IT那活兒 / 2707人閱讀
Greenplum表故障處理--Primary和mirror

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

primary和mirror的主備同步機(jī)制

greenplum是基于postgreSQL進(jìn)行開(kāi)發(fā)的，主備是通過(guò)流復(fù)制實(shí)現(xiàn)，但segment節(jié)點(diǎn)的primary和mirror之間的數(shù)據(jù)同步是基于文件級(jí)別的同步實(shí)現(xiàn)的。
primary和mirror同步的內(nèi)容主要有兩部分：文件和數(shù)據(jù)。
之所以primary和mirror要同步文件，是因?yàn)閜rimary和mirror之間可以自動(dòng)failover，只有兩者保持同步才能相互替代，如果只把數(shù)據(jù)同步過(guò)去，pg_control、pg_clog、pg_subtrans 沒(méi)有同步，那么從primary切換到mirror就會(huì)出現(xiàn)問(wèn)題。
master和slave卻不用擔(dān)心這些問(wèn)題，Append Only 表的數(shù)據(jù)只會(huì)存在 Segment，所以wal日志足夠保持master和slave同步(只要是流復(fù)制，pg_control、pg_clog、pg_subtrans 這些文件slave會(huì)自動(dòng)更新，無(wú)需從master同步)。
1）數(shù)據(jù)同步
當(dāng)master向primary下發(fā)執(zhí)行計(jì)劃后，primary開(kāi)始執(zhí)行，如果是dml操作，那么primary會(huì)產(chǎn)生XLOG及更新page。會(huì)在SlruPhysicalWritePage函數(shù)中(寫(xiě)數(shù)據(jù)頁(yè))產(chǎn)生FileRepOperationOpen、FileRepOperationWrite、FileRepOperationFlush、FileRepOperationClose等指令消息(消息中包含具體要更新的文件page及內(nèi)容)，通過(guò)primary sender進(jìn)程向mirror發(fā)送message，然后mirror的mirror consumer等進(jìn)程解析消息，執(zhí)行變更。
xlog通過(guò)XLogWrite函數(shù)(寫(xiě)xlog)執(zhí)行同樣的操作，把xlog更新同步過(guò)去。
2）文件同步

primary的recovery進(jìn)程會(huì)循環(huán)把primary的 pg_control、pg_clog、pg_subtrans 等文件覆蓋到mirror。同時(shí)檢查xlog是否一致，如果不一致以primary為主，對(duì)mirror進(jìn)行覆蓋。除把primary部分文件同步到mirror之外recovery進(jìn)程還會(huì)將mirror上面的臨時(shí)文件刪掉。

創(chuàng)建一個(gè)ao表并插入數(shù)據(jù)

通過(guò)pg_class系統(tǒng)表查找該表所屬的數(shù)據(jù)塊。
Primary所對(duì)應(yīng)的數(shù)據(jù)塊的位置。
1. 到對(duì)應(yīng)mirror下模擬mirror損壞的情況
修改mirror下16872.1這個(gè)數(shù)據(jù)塊，可以看到md5sum校驗(yàn)值已經(jīng)不同。
這時(shí)查看表格發(fā)現(xiàn)可以正常查詢。
2. 模擬primary損壞的情況
同理修改primary下16872.1這個(gè)數(shù)據(jù)塊，會(huì)發(fā)現(xiàn)查詢報(bào)錯(cuò)。
可以通過(guò)報(bào)錯(cuò)信息提示查看數(shù)據(jù)塊所在的實(shí)例：
gpstate -c | grep seg0查找實(shí)例對(duì)應(yīng)的primary主機(jī)和mirror主機(jī)。
Ms5sum校驗(yàn)文件：
md5sum /home/gpadmin/gpdata/gpdatam1/gpseg0/base/16412/16872.1
md5sum /home/gpadmin/gpdata/gpdatap1/gpseg0/base/16412/16872.1
Mirror傳輸覆蓋到primary。
scp /home/gpadmin/gpdata/gpdatam1/gpseg0/base/16412/16872.1 
192.168.**.***:/home/gpadmin/gpdata/gpdatap1/gpseg0/base/16412/16872.1
之后該表可以正常查詢。


本文作者：陸 游(上海新炬王翦團(tuán)隊(duì)）

本文來(lái)源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://m.specialneedsforspecialkids.com/yun/129151.html

相關(guān)文章

  • 數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)的變遷

    摘要：前面我們簡(jiǎn)單闡述了分布式數(shù)據(jù)庫(kù)的架構(gòu)，并通過(guò)一條簡(jiǎn)單的查詢語(yǔ)句解釋了分布式的執(zhí)行計(jì)劃。 引言 第八屆中國(guó)架構(gòu)師大會(huì)（SACC2016）10月27號(hào)到29號(hào)在北京萬(wàn)達(dá)索菲特大飯店成功舉辦。大會(huì)以架構(gòu)創(chuàng)新之路為主題，云集了國(guó)內(nèi)外頂尖專家，共同探討云計(jì)算和大數(shù)據(jù)等技術(shù)背景下，如何通過(guò)架構(gòu)創(chuàng)新及各種IT新技術(shù)來(lái)帶動(dòng)企業(yè)轉(zhuǎn)型增效。作為一家專注于云端數(shù)據(jù)倉(cāng)庫(kù)的初創(chuàng)公司，酷克數(shù)據(jù)受邀在SACC201...

    Raaabbit 評(píng)論0 收藏0

  • centos7.3下 greenplum-db 安裝、配置文檔

    摘要：下安裝配置文檔一系統(tǒng)要求系統(tǒng)版本要求根據(jù)官方文檔支持以下幾種系統(tǒng)文件系統(tǒng)要求數(shù)據(jù)存儲(chǔ)目錄為文件系統(tǒng)二下安裝服務(wù)器列表主節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)數(shù)據(jù)節(jié)點(diǎn)主節(jié)點(diǎn)切換備用節(jié)點(diǎn)修改系統(tǒng)配置項(xiàng)關(guān)閉關(guān)閉防火墻修改內(nèi)核配置參數(shù)并執(zhí)行使之生 centos7.3下 greenplum-db 安裝、配置文檔 一.系統(tǒng)要求 1.系統(tǒng)版本要求:根據(jù)官方文檔： greenplumd-b支持以下幾種linux系統(tǒng): ...

    neuSnail 評(píng)論0 收藏0

  • 探索Greenplum的實(shí)踐，了解新一代大數(shù)據(jù)處理利器

    摘要：上有主節(jié)點(diǎn)和從節(jié)點(diǎn)兩部分，兩者主要的功能是生成查詢計(jì)劃并派發(fā)，以及協(xié)調(diào)并行計(jì)算，同時(shí)在上保存著，這個(gè)全局目錄存著一組數(shù)據(jù)庫(kù)系統(tǒng)本身所具有的元數(shù)據(jù)的系統(tǒng)表。 前言：近年來(lái)，互聯(lián)網(wǎng)的快速發(fā)展積累了海量大數(shù)據(jù)，而在這些大數(shù)據(jù)的處理上，不同技術(shù)棧所具備的性能也有所不同，如何快速有效地處理這些龐大的數(shù)據(jù)倉(cāng)，成為很多運(yùn)營(yíng)者為之苦惱的問(wèn)題！隨著Greenplum的異軍突起，以往大數(shù)據(jù)倉(cāng)庫(kù)所面臨的很多...

    supernavy 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<