國產(chǎn)數(shù)據(jù)系列之萬里數(shù)據(jù)庫GreatDB整體架構(gòu)和快速部署

IT那活兒發(fā)布于2023-01-11 13:20 / 1420人閱讀

GreatDB作為一款國產(chǎn)化分布式數(shù)據(jù)庫產(chǎn)品，在金融、運(yùn)營商、能源等行業(yè)已有廣泛應(yīng)用。其在Mysql8.0MGR的基礎(chǔ)之上做了大量的優(yōu)化，在分布式可擴(kuò)展性、數(shù)據(jù)庫兼容性以及集群高可用層面有自己的優(yōu)勢，本文將簡單介紹GreatDB的基本架構(gòu)，并測試快速部署計(jì)算存儲分離集群環(huán)境。

一. GreatDB基本架構(gòu)

GreatDB整體架構(gòu)

GreatDB整體架構(gòu)如下圖所示包括計(jì)算層和存儲層、其中計(jì)算層部分實(shí)現(xiàn)分布式數(shù)據(jù)庫架構(gòu)下的整個(gè)集群元數(shù)據(jù)、數(shù)據(jù)節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)的管理和維護(hù)。

架構(gòu)特點(diǎn)

計(jì)算層和存儲層可以獨(dú)立彈性擴(kuò)展。
計(jì)算層和存儲層之間沒有強(qiáng)耦合性，實(shí)現(xiàn)計(jì)算與存儲的分離。
計(jì)算和存儲層的特性重點(diǎn)不?樣，可以針對性的進(jìn)行開發(fā)迭代。

SQL節(jié)點(diǎn)（計(jì)算層）

SQL節(jié)點(diǎn)之間使?MGR的多主模式，組成了?個(gè)全同步集群，也作為數(shù)據(jù)庫集群暴露給應(yīng)?程序的節(jié)點(diǎn)。每個(gè)SQL節(jié)點(diǎn) 都可以接收?戶的讀寫請求。SQL節(jié)點(diǎn)主要負(fù)責(zé)實(shí)現(xiàn)了?研的GreatDB引擎，其功能如下：

維護(hù)集群的元數(shù)據(jù)信息
維護(hù)表的分布信息
與數(shù)據(jù)節(jié)點(diǎn)通信，將數(shù)據(jù)存取任務(wù)下發(fā)到數(shù)據(jù)節(jié)點(diǎn)

SQL節(jié)點(diǎn)擴(kuò)充了MySQL系統(tǒng)表，會(huì)將集群元數(shù)據(jù)寫?到系統(tǒng)表中，?戶操作任何?個(gè)節(jié)點(diǎn)改變了集群的元數(shù)據(jù)，都會(huì)通過全同步復(fù)制同步到集群其它節(jié)點(diǎn)，從?達(dá)到元數(shù)據(jù)強(qiáng)一致的效果。

數(shù)據(jù)節(jié)點(diǎn)（存儲層）

數(shù)據(jù)節(jié)點(diǎn)按照shard進(jìn)?劃分，?個(gè)shard內(nèi)的數(shù)據(jù)節(jié)點(diǎn)構(gòu)成?個(gè)MGR單主集群，負(fù)責(zé)存儲集群的一個(gè)分?的數(shù)據(jù)，?個(gè) shard內(nèi)保證副本數(shù)據(jù)的強(qiáng)一致性。所有shard共同構(gòu)成集群的完整數(shù)據(jù)。數(shù)據(jù)節(jié)點(diǎn)主要負(fù)責(zé)如下功能：

接收SQL節(jié)點(diǎn)的SQL命令并執(zhí)?。
組建MGR集群，?動(dòng)故障恢復(fù)。數(shù)據(jù)節(jié)點(diǎn)不?具有存儲功能，數(shù)據(jù)節(jié)點(diǎn)?樣具有計(jì)算能?，可以進(jìn)?復(fù)雜計(jì)算，SQL節(jié)點(diǎn)可以將部分計(jì)算邏輯下推到計(jì)算節(jié)點(diǎn)進(jìn)?計(jì)算。

連接方式

應(yīng)用客戶端可以通過JDBC或者ODBC直接連接到計(jì)算節(jié)點(diǎn)，也可以經(jīng)過負(fù)載均衡F5或loadbalance或LVS或HAProxy的方式連接到計(jì)算節(jié)點(diǎn)，達(dá)到流量均衡的目的。

二. GreatDB集群環(huán)境快速部署

環(huán)境準(zhǔn)備

GreatDB集群計(jì)算存儲分離環(huán)境部署至少需要三臺計(jì)算節(jié)點(diǎn)、三臺數(shù)據(jù)節(jié)點(diǎn),服務(wù)器與端口配置設(shè)計(jì)如下：

服務(wù)器列表

拓?fù)?span style="font-size: 15px;">圖和端口

GreatDB快速安裝部署

依賴庫安裝

依賴庫安裝 GreatDB Cluster服務(wù)器程序依賴libaio庫，用戶可以通過如下命令進(jìn)?安裝。

▼▼▼
## Yum-based systems
shell> yum search libaio # search for info
shell> yum install libaio-devel # install library

GreatDB Cluster客戶端程序依賴libncurses庫，用戶可以通過如下命令進(jìn)?安裝：

▼▼▼
## Yum-based systems 
shell> yum search ncurses # search for info 
shell> yum install ncurses-devel # install library

安裝包準(zhǔn)備

將greatdb-cluster-5.0.6-2e6cda47fea-Linux-glibc2.17-x86_64.tar.gz軟件安裝包上傳至所有服務(wù)器
在所有服務(wù)器解壓軟件安裝包至目錄/usr/local/greatdb-cluster

按照下?的指令進(jìn)?軟件包的安裝：

▼▼▼
shell> groupadd greatdb 
shell> useradd -r -g greatdb -s /bin/false greatdb 
shell> cd /usr/local 
shell> tar -xzvf greatdb-cluster-5.0.6-2e6cda47fea-Linux-glibc2.17-x86_64.tar.gz
shell> ln -s greatdb-cluster-5.0.6-2e6cda47fea-Linux-glibc2.17-x86_64 greatdb-cluster 
shell> cd greatdb-cluster 
shell> chown greatdb:greatdb -R

配置文件與數(shù)據(jù)

為了?便管理，統(tǒng)?將配置?件設(shè)置在 /etc/greatdb-cluster ?錄下，數(shù)據(jù)?錄設(shè)置在 /var/lib/greatdb-cluster ?錄下。

▼▼▼
shell> mkdir /var/lib/greatdb-cluster 
shell> mkdir /etc/greatdb-cluster

每個(gè)節(jié)點(diǎn)和?件及?錄的對應(yīng)關(guān)系如下：

配置?件模板 SQLNode和DataNode的配置?件模板與MySQL配置方式?致，為了簡化?成配置?件的復(fù)雜度，針對單機(jī)快速部署提供如下bash腳本create_config.sh ，內(nèi)容如下：

▼▼▼
#!/bin/bash
set -ex
ip=$1
port=$2
echo "[mysqld]
datadir=/var/lib/greatdb-cluster/$port
socket=/var/lib/greatdb-cluster/$port/greatdb.sock
user=greatdb
port=$2
server_id=$RANDOM
max_connections=1000
report-host=$1
## group replication configuration
binlog-checksum=NONE
enforce-gtid-consistency
gtid-mode=ON
loose-group_replication_start_on_boot=OFF
loose_group_replication_recovery_get_public_key=ON
loose-group_replication_local_address= "$1:1$2""

此模板接收兩個(gè)參數(shù)，node名稱和端?號，這?使? create_config.sh創(chuàng)建不同節(jié)點(diǎn)的配置?件。

▼▼▼
# 在sqlnode1上?成計(jì)算實(shí)例的配置?件
bash create_config.sh 172.16.134.133 3306 > /etc/greatdb-cluster/3306.cnf
# 在sqlnode2上?成計(jì)算實(shí)例的配置?件
bash create_config.sh 172.16.134.134 3306 > /etc/greatdb-cluster/3306.cnf
# 在sqlnode3上?成計(jì)算實(shí)例的配置?件
bash create_config.sh 172.16.134.135 3306 > /etc/greatdb-cluster/3306.cnf
## 在datanode1上?成數(shù)據(jù)節(jié)點(diǎn)的配置?件
bash create_config.sh 172.16.134.136 3307 > /etc/greatdb-cluster/3307.cnf
bash create_config.sh 172.16.134.136 3308 > /etc/greatdb-cluster/3308.cnf
## 在datanode2上?成數(shù)據(jù)節(jié)點(diǎn)的配置?件
bash create_config.sh 172.16.134.137 3307 > /etc/greatdb-cluster/3307.cnf
bash create_config.sh 172.16.134.137 3308 > /etc/greatdb-cluster/3308.cnf
## 在datanode3上?成數(shù)據(jù)節(jié)點(diǎn)的配置?件
bash create_config.sh 172.16.134.138 3307 > /etc/greatdb-cluster/3307.cnf
bash create_config.sh 172.16.134.138 3308 > /etc/greatdb-cluster/3308.cnf

初始啟動(dòng)節(jié)點(diǎn)

創(chuàng)建好各?的配置?件后，直接使?greatdb_init初始化各個(gè)節(jié)點(diǎn)，greatdb_init會(huì)?動(dòng)初始化數(shù)據(jù)庫節(jié)點(diǎn) 實(shí)例，并啟動(dòng)實(shí)例。

初始啟動(dòng)SQLNode

在sqlnode1,sqlnode2,sqlnode3上，分別進(jìn)? /usr/local/greatdb-cluster ?錄，使?greatdb_init初始并啟動(dòng)SQLNode。

▼▼▼
## 在sqlnode1上初始化計(jì)算實(shí)例的數(shù)據(jù)?錄
[root@sqlnode1]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3306.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=sqlnode
## 在sqlnode2上初始化計(jì)算實(shí)例的數(shù)據(jù)?錄
[root@sqlnode2]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3306.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=sqlnode
## 在sqlnode3上初始化計(jì)算實(shí)例的數(shù)據(jù)?錄
[root@sqlnode3]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3306.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=sqlnode

初始啟動(dòng)DataNode

在datanode1,datanode2,datanode3上，分別進(jìn)? /usr/local/greatdb-cluster ?錄，使?greatdbd初始化DataNode的數(shù)據(jù)?錄。

▼▼▼
## 在datanode1上初始化數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)?錄
[root@datanode1]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3307.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=datanode
[root@datanode1]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3308.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=datanode
## 在datanode2上初始化數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)?錄
[root@datanode2]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3307.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=datanode
[root@datanode2]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3308.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=datanode
## 在datanode3上初始化數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)?錄
[root@datanode3]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3307.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=datanode
[root@datanode3]# bin/greatdb_init --defaults-file=/etc/greatdb-cluster/3308.cnf --cluster_user=greatdb --cluster-host=% --cluster-password=greatdb --node-type=datanode

創(chuàng)建集群

使? root 登陸任意?個(gè)SQLNode，進(jìn)?初始化集群操作，隨后進(jìn)?添加SQLNode和DataNode的操作，這?以sqlnode1作為初始化節(jié)點(diǎn)。

▼▼▼
## 登陸sqlnode1
[root@localhost greatdb-cluster]# bin/greatsql -h127.0.0.1 -P3306 -uroot
## 初始化集群
GreatDB Cluster> call mysql.greatdb_init_cluster(greatdb_cluster, greatdb, greatdb);
Query OK, 1 row affected (4.24 sec)
## 添加SQLNodesqlnode2
GreatDB Cluster> call mysql.greatdb_add_sqlnode(172.16.134.134, 3306);
Query OK, 1 row affected (4.24 sec)
## 添加SQLNodesqlnode3
GreatDB Cluster> call mysql.greatdb_add_sqlnode(172.16.134.135, 3307);
Query OK, 1 row affected (4.24 sec)
## 添加shard1的數(shù)據(jù)節(jié)點(diǎn)并初始化
GreatDB Cluster> call mysql.greatdb_add_datanode(shard1, sd1_dn1, 172.16.134.136, 3307, NODE_MGR);
Query OK, 1 row affected (0.03 sec)
GreatDB Cluster> call mysql.greatdb_add_datanode(shard1, sd1_dn2, 172.16.134.137, 3307, NODE_MGR);
Query OK, 1 row affected (0.03 sec)
GreatDB Cluster> call mysql.greatdb_add_datanode(shard1, sd1_dn3, 172.16.134.138, 3307, NODE_MGR);
Query OK, 1 row affected (0.03 sec)
GreatDB Cluster> call mysql.greatdb_init_shard(shard1);
Query OK, 1 row affected (4.24 sec)
## 添加shard2的數(shù)據(jù)節(jié)點(diǎn)并初始化
GreatDB Cluster> call mysql.greatdb_add_datanode(shard2, sd2_dn2, 172.16.134.136, 3308, NODE_MGR);
Query OK, 1 row affected (0.03 sec)
GreatDB Cluster> call mysql.greatdb_add_datanode(shard2, sd2_dn3, 172.16.134.137, 3308, NODE_MGR);
Query OK, 1 row affected (0.03 sec)
GreatDB Cluster> call mysql.greatdb_add_datanode(shard2, sd2_dn1, 172.16.134.138, 3308, NODE_MGR);
Query OK, 1 row affected (0.03 sec)
GreatDB Cluster> call mysql.greatdb_init_shard(shard2);
Query OK, 1 row affected (4.24 sec)

創(chuàng)建完成查看SQL節(jié)點(diǎn)狀態(tài):

查看數(shù)據(jù)節(jié)點(diǎn)狀態(tài):

至此，完成了GreatDB快速部署流程，?戶可以通過連接SQLNode，把整個(gè)集群當(dāng)成單機(jī)MySQL使?。其中在配置腳本執(zhí)行過程如果出現(xiàn)異?？梢詫?etc/host進(jìn)行修改，并且需要準(zhǔn)備好yum源。

END

更多精彩干貨分享

點(diǎn)擊下方名片關(guān)注

IT那活兒

GPU云服務(wù)器云服務(wù)器架構(gòu)之坑系列系列之系列之二國產(chǎn)私有云平臺架構(gòu)

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129852.html

發(fā)表評論

登陸后可評論

0條評論

IT那活兒

男|高級講師

我要關(guān)注我要私信

TA的文章

消息中間件故障分析一例

閱讀 1353·2023-01-11 13:20
RAC雙節(jié)點(diǎn)crash回復(fù)一例

閱讀 1699·2023-01-11 13:20
ORA-600處理一例

閱讀 1211·2023-01-11 13:20
雙節(jié)點(diǎn)RAC實(shí)例2 HANG 故障分析一例

閱讀 1902·2023-01-11 13:20
RAC集群節(jié)點(diǎn)1重啟分析一例

閱讀 4161·2023-01-11 13:20
CRS啟動(dòng)報(bào)錯(cuò)CRS-1656處理分享

閱讀 2751·2023-01-11 13:20
oracle 12CR2打補(bǔ)丁報(bào)錯(cuò)處理一例

閱讀 1397·2023-01-11 13:20
分布式緩存組件故障分析及監(jiān)控優(yōu)化

閱讀 3664·2023-01-11 13:20

国产xxxx99真实实拍_久久不雅视频_高清韩国a级特黄毛片_嗯老师别我我受不了了小说

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

國產(chǎn)數(shù)據(jù)系列之萬里數(shù)據(jù)庫GreatDB整體架構(gòu)和快速部署

GreatDB整體架構(gòu)

服務(wù)器列表

拓?fù)?span style="font-size: 15px;">圖和端口

GreatDB快速安裝部署

依賴庫安裝

安裝包準(zhǔn)備

配置文件與數(shù)據(jù)

初始啟動(dòng)節(jié)點(diǎn)

初始啟動(dòng)SQLNode

初始啟動(dòng)DataNode

創(chuàng)建集群

相關(guān)文章

**2021年8月國產(chǎn)數(shù)據(jù)庫大事記**

**2021年9月國產(chǎn)數(shù)據(jù)庫大事記**

**2021年10月國產(chǎn)數(shù)據(jù)庫大事記**

**2021年11月國產(chǎn)數(shù)據(jù)庫排行榜：openGauss闖入前三，Kingbase流行度與日俱增，TDe**

**2021年10月國產(chǎn)數(shù)據(jù)庫排行榜：達(dá)夢反超OceanBase奪榜眼，TDSQL實(shí)現(xiàn)“四連增”，數(shù)據(jù)生**

國產(chǎn)品牌領(lǐng)跑高端服務(wù)器市場云計(jì)算重塑行業(yè)競爭格局

發(fā)表評論

0條評論

IT那活兒

男|高級講師

TA的文章

消息中間件故障分析一例

RAC雙節(jié)點(diǎn)crash回復(fù)一例

ORA-600處理一例

雙節(jié)點(diǎn)RAC實(shí)例2 HANG 故障分析一例

RAC集群節(jié)點(diǎn)1重啟分析一例

CRS啟動(dòng)報(bào)錯(cuò)CRS-1656處理分享

oracle 12CR2打補(bǔ)丁報(bào)錯(cuò)處理一例

分布式緩存組件故障分析及監(jiān)控優(yōu)化

最新活動(dòng)

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

國產(chǎn)數(shù)據(jù)系列之萬里數(shù)據(jù)庫GreatDB整體架構(gòu)和快速部署

GreatDB整體架構(gòu)

服務(wù)器列表

拓?fù)?span style="font-size: 15px;">圖和端口

GreatDB快速安裝部署

依賴庫安裝

安裝包準(zhǔn)備

配置文件與數(shù)據(jù)

初始啟動(dòng)節(jié)點(diǎn)

初始啟動(dòng)SQLNode

初始啟動(dòng)DataNode

創(chuàng)建集群

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動(dòng)

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！