• 環(huán)境說明

• 遷移需求

新建DatabaseC,將DatabaseA和DatabaseB的數(shù)據(jù)遷移到DatabaseC,其中DatabaseA/B僅部分表需保留數(shù)據(jù),其余表保留結(jié)構(gòu)即可

• 業(yè)務(wù)停機(jī)時(shí)間

業(yè)務(wù)允許停機(jī)時(shí)間最長(zhǎng)為2小時(shí)

a.第一次遷移測(cè)試

本次遷移為了搭建測(cè)試環(huán)境供業(yè)務(wù)測(cè)試使用,對(duì)數(shù)據(jù)準(zhǔn)確性無要求,受硬件條件以及時(shí)間需求限制,無法采用物理備份/復(fù)制等手段,采用mysqldump進(jìn)行拆分導(dǎo)出導(dǎo)入

• 導(dǎo)出數(shù)據(jù)

mysqldump -uxxx  -pxxxx -S xxxx--set-gtid-purged=OFF   --single-transaction db `cat tab_list.txt` >table.sql

• 恢復(fù)數(shù)據(jù)

Set names utf8mb4;

Sourcetable.sql

盡管通過人為拆分為并行導(dǎo)出導(dǎo)入,但導(dǎo)入時(shí)會(huì)創(chuàng)建大量索引,索引創(chuàng)建過程無法并行,總體耗時(shí)約40h,無法滿足業(yè)務(wù)需求.

        b.第二次遷移測(cè)試

本次遷移測(cè)試采用傳輸表空間,過程大致如下

• 備份結(jié)構(gòu)

mysqldump -uxx  -pxx -S xx  --set-gtid-purged=OFF -d dbname  > table_Structure.sql

mysqldump -uxx  -pxx -S xx   -n -t-d -R --triggers=false --set-gtid-purged=OFF  dbname >procedure.sql

• 恢復(fù)表結(jié)構(gòu)

Set names utf8mb4;

Source table_Structure.sql

Sourceprocedure.sql

• 替換表空間

• 分離ibd文件

Alter table xxx discard tablespace;

• 傳輸idb文件

scp `cat table_list.txt` 10.25.225.243:/mysqldata/mysql/data/material

• 導(dǎo)入idb文件

• Alter table xxx import tablespace;

測(cè)試耗時(shí)約6h,讓仍然無法滿足業(yè)務(wù)要求,分析瓶頸在以下兩方面:

1. 傳輸文件通過千兆網(wǎng)絡(luò),耗費(fèi)大量時(shí)間

2. import tablespace過程中, mysql需要更新ibd文件每個(gè)page的lsn,產(chǎn)生大量IO操作,耗時(shí)較多;

c.第三次測(cè)試

• 物理備份

對(duì)A/B數(shù)據(jù)庫進(jìn)行物理備份

innobackupex --user=xx -pxx --socket=xx  --no-timestamp  ./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc1/--incremental-basedir=./full

innobackupex --user=xx -pxx --socket=xx  --no-timestamp --incremental ./inc/inc2/--incremental-basedir=./inc/inc1

• 恢復(fù)備份

使用備份恢復(fù)databaseB

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-onlyfull/  &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec0/ full/ &

innobackupex--defaults-file=/etc/my.cnf --parallel=16 --apply-log --redo-only--incremental-dir=rec1/ full/

• 升級(jí)database c

mysql_upgrade --upgrade-system-tables  -uroot -pxxx

• 恢復(fù)database A到database C

恢復(fù)過程同第二次遷移測(cè)試,此處使用物理備份的ibd文件進(jìn)行導(dǎo)入.

• 清理多余的數(shù)據(jù)

Truncatetable xxx;

• 配置復(fù)制

通過物理備份獲取gtid相關(guān)信息,并配置兩個(gè)復(fù)制通道,分別為databaseA和databaseB復(fù)制數(shù)據(jù)

reset master;

SET@@GLOBAL.GTID_PURGED=xxxxxx,xxxxxxx;

change master to

master_host=xxx,

MASTER_PORT=xx,

master_user=repl,

master_password=xx,

master_auto_position=1

FOR CHANNEL chnl1;

通過以上方式,業(yè)務(wù)停機(jī)時(shí)間僅為應(yīng)用修改切換連接串時(shí)間,僅需幾分鐘即可,滿足業(yè)務(wù)需求。