初識Postgres-XL

JasinYip 發布于2019-07-25 12:33 / 3476人閱讀

摘要：所有節點中分為三種角色全局事務管理器協調器和數據節點。一旦故障，整個集群立刻無法訪問，此時可以切換到節點上。

第一節簡介
Postgres-XL是一款開源的PG集群軟件，XL代表eXtensible Lattice，即可擴展的PG“格子”之意，以下簡稱PGXL。官方稱其既適合寫操作壓力較大的OLTP應用，又適合讀操作為主的大數據應用。它的前身是Postgres-XC（簡稱PGXC），PGXC是在PG的基礎上加入了集群功能，主要適用于OLTP應用；PGXL是在PGXC的基礎上的升級產品，加入了一些適用于OLAP應用的特性，如 Massively Parallel Processing (MPP) 特性。通俗的說PGXL的代碼是包含PG代碼的，使用PGXL安裝PG集群并不需要多帶帶安裝PG。這樣帶來的一個問題是無法隨意選擇任意版本的PG，好在PGXL跟進PG較及時，目前最新版本Postgres-XL 9.5 R1.3，基于PG 9.5。
三者的關系大致如下圖（來源網絡，出處不詳）

總體感覺PGXL這款工具還是相當成熟的，有官方網站http://www.postgres-xl.org/，文檔也比較完善，也有商業公司2ndQuadrant在支持。下圖是PGXL和PG在OLAP方面的性能對比，來自2ndQuadrant官網：

第二節集群架構

上面這張圖就是PGXL集群的架構圖，來自官方網站。所有節點中分為三種角色：GTM（全局事務管理器）、Coordinator（協調器）和Datanode（數據節點）。需要注意一點是圖中的Load Balance組件并不屬于PGXL集群本身，需要其他負載均衡工具實現。
GTM：
全局事務控制節點，保證集群數據的一致性，與Coordinator節點和Datanode節點不斷通信，是整個集群的核心節點，只存在一個，可以存在一個GTM Standby節點，對GTM實時備份。GTM一旦故障，整個集群立刻無法訪問，此時可以切換到GTM Standby節點上。如果部署了GTM Standby節點，就應該同時部署GTM Proxy，一般和Coordinator、Datanode部署在同一臺服務器上。GTM Proxy的作用代理Coordinator和Datanode對GTM的訪問，起到減輕GTM負載的作用，另外一個重要的作用是幫助完成GTM的故障切換，當GTM節點發生故障后，GTM Standby成為新的GTM，此時Coordinator和Datanode節點并不需要重新指定GTM地址，只需要GTM Proxy重新連接到新的GTM地址即可。
Coordinator：
接收數據訪問請求的節點，本質上是由PG后臺進程組成。接收的一條查詢后，Coordinator節點執行查詢計劃，然后會根據查詢數據涉及的數據節點將查詢分發給相關的數據節點。寫入數據時，也會根據不同的數據分布策略將數據寫入相關的節點。可以說Coordinator節點上保存著集群的全局數據位置。Coordinator節點可以任意擴展，各個節點之間除了訪問地址不同以外是完全對等的，通過一個節點更新的數據可以在另一個節點上立刻看到。每個Coordinator節點可以配置一個對應的standby節點，避免單點故障。
Datanode：
實際存取數據的節點，接收Coordinator的請求并執行SQL語句存取數據，節點之間也會互相通信。一般的，一個節點上的數據并不是全局的，數據節點不直接對外提供數據訪問。一個表的數據在數據節點上的分布存在兩種模式：復制模式和分片模式，復制模式下，一個表的數據在指定的節點上存在多個副本；分片模式下，一個表的數據按照一定的規則分布在多個數據節點上，這些節點共同保存一份完整的數據。這兩種模式的選擇是在創建表的時候執行CREATE TABLE語句指定的，具體語法如下：

CREATE TABLE table_name(...)
DISTRIBUTE BY 
HASH(col)|MODULO(col)|ROUNDROBIN|REPLICATION
TO NODE(nodename1,nodename2...)

可以看到，如果DISTRIBUTE BY 后面是REPLICATION，則是復制模式，其余則是分片模式，HASH指的是按照指定列的哈希值分布數據，MODULO指的是按照指定列的取摩運算分布數據，ROUNDROBIN指的是按照輪詢的方式分布數據。TO NODE指定了數據分布的節點范圍，如果沒有指定則默認所有數據節點參與數據分布。如果沒有指定分布模式，即使用普通的CREATE TABLE語句，PGXL會默認采用分片模式將數據分布到所有數據節點。

這篇就先寫到這里，下一篇寫一下安裝與配置。

參考資料：
http://www.postgres-xl.org/
https://2ndquadrant.com/en/re...
http://www.slideshare.net/mas...

GPU云服務器云服務器 docker初識初識關系數據庫

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/38957.html

Postgres-XL安裝與配置

摘要：接上篇初識寫一下簡稱的部署與測試。如果執行報錯則根據提示安裝相應的庫即可，如等。默認的安裝目錄是，和原生相同，很順手。接上篇《初識Postgres-XL》https://segmentfault.com/a/11...寫一下Postgres-XL（簡稱PGXL）的部署與測試。第一節安裝安裝很簡單，源碼安裝，和PG的安裝基本相同，可能比PG多一個依賴庫。在所有節點上執行相同操作。 ...

ysl_unh 2019-07-25 12:33 評論0 收藏0
PG的兩種集群技術：Pgpool-II與Postgres-XL

摘要：最近研究了的兩種集群方案，分別是和，在這里總結一下二者的機制結構優劣測試結果等。其中的前身的，的前身是。為了避免單點故障，可以為所有節點配置對應的節點。測試測試結果測試結果顯示，兩種集群與單機的性能指標幾乎一致，無法分辨高下。最近研究了PG的兩種集群方案，分別是Pgpool-II和Postgres-XL，在這里總結一下二者的機制、結構、優劣、測試結果等。 1、 Pgpool-I...

gitmilk 2019-07-25 12:32 評論0 收藏0
通過rhel7的kvm虛擬機實現3節點Postgres-XL（包括gtm standby）

摘要：這里只演示修改下運行停掉的服務下運行，編輯配置文件，修改連接地址以下為修改后的顯示結果，是的服務，從可以看到下運行 ????關于postgres-xl的實驗是在我自己筆記本rhel7.2_x64的環境下，用kvm實現的，總共有6臺虛擬機：????一臺openfiler2.99發布共享存儲，一臺gtm master，一臺gtm slave，三臺gtm_proxy/coordinator/...

huhud 2019-07-25 12:33 評論0 收藏0
構建可擴展的PostgreSQL解決方案

摘要：這可以通過負載平衡來實現數據分片當問題不是并發查詢的數量，而是數據庫的大小和單個查詢的速度時，可以實現不同的方法。 showImg(https://segmentfault.com/img/remote/1460000018875091); 來源 | 愿碼(ChainDesk.CN)內容編輯愿碼Slogan | 連接每個程序員的故事網站 | http://chaindesk.cn...

jonh_felix 2019-07-25 12:38 評論0 收藏0