摘要：本文介紹了如何基于完成數據庫備份。應用場景應用場景應用場景目前數據庫備份場景主要有以下三類備份與恢復備份方式推薦使用備份到中。

數據庫備份方案

本篇目錄

背景

對象存儲作為海量非結構化數據的云存儲應用，面對日益上漲的數據庫備份場景，可以有效幫助用戶縮減備份流程，降低備份成本，有效提升用戶體驗。 本文介紹了如何基于 US3 完成數據庫備份。

應用場景

目前 US3 數據庫備份場景主要有以下三類：

備份與恢復：備份方式推薦使用 Filemgr 備份到 US3 中。 Filemgr 支持本地備份恢復與流式備份恢復，通過流式功能可以幫助用戶完成數據不落地備份與恢復。

分級存儲：針對需要定時清理備份、縮減備份成本的用戶，US3 支持生命周期功能。 通過控制臺指定生命周期規則，可以幫助用戶完成：1、定期清理；2、定期轉入低頻；3、定期轉入歸檔；

異地備份：針對需要更高安全級別的用戶，US3 支持跨區域復制功能。 通過控制臺配置跨區域復制功能，可以幫助用戶在上傳備份的同時，完成數據的異地備份。

方案優勢

使用 Filemgr 進行流式備份以及流式恢復，完成不落地備份與恢復，可以避免落盤操作。

使用 US3 生命周期 功能，配合定期刪除、低頻存儲、歸檔存儲可以實現數據分級存儲，幫助用戶節約存儲成本。

使用 US3 跨區域復制，為備份數據進行異地容災，提高備份數據安全性。

方案實施

下載 Filemgr，遷移工具

在 Filemgr 目錄下配置 config.cfg，proxy host 域名請參照 地域和域名

{
    "public_key" : "paste your public key here",
    "private_key" : "paste your private key here",
    "proxy_host" : "www.cn-bj.ufileos.com",       // proxy host請填寫對應地域域名
    "api_host" : "api.spark.ucloud.cn"
}CopyErrorSuccess

bash
# 注意如果，欲使用低頻存儲(IA)或者冷存儲(ARCHIVE)，請在命令參數storageclass中指定，支持三種值：STANDARD, IA, ARCHIVE
# 注意如果，備份時指定了storageclass參數為ARCHIVE，需要提前對該文件restore
./filemgr-linux64 --action restore --bucket <bucketName> --key <backupKey>
# 邏輯備份
    # 全庫備份
    mysqldump -A | ./filemgr-linux64 --action stream-upload --bucket <bucketName> --key <all-backupKey> --file stdin --threads <threads> --retrycount <retry> --storageclass <storage-class>
    # 分庫備份
    mysqldump -B database1 database2 | ./filemgr-linux64 --action stream-upload --bucket <bucketName> --key <part-backupKey> --file stdin --threads <threads> --retrycount <retry> --storageclass <storage-class>
# 邏輯備份恢復
    # 全庫備份恢復
    ./filemgr-linux --action stream-download --bucket <bucketName> --key <all-backupKey> --threads <threads> --retrycount <retry> 2>./error.log | mysql
    # 分庫備份恢復
    ./filemgr-linux --action stream-download --bucket <bucketName> --key <part-backupKey> --threads <threads> --retrycount <retry> 2>./error.log | mysql
# ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
# xtrabackup物理備份
    # 全量備份
    innobackupex --stream=tar | ./filemgr-linux64 --action stream-upload --bucket <bucketName> --key <full-backupKey> --file stdin --threads <threads> --retrycount <retry> --storageclass <storage-class>
    # 增量備份
    innobackupex --stream=tar --extra-lsndir=/data/backup/chkpoint /data/backup/tmp/ | ./filemgr-linux64 --action stream-upload --bucket <bucketName> --key <incre-backupKey-base> --file stdin --threads <threads> --retrycount <retry> --storageclass <storage-class> # 全備
    innobackupex --stream=xbstream --incremental --extra-lsndir=/data/backup/chkpoint --incremental-basedir=/data/backup/chkpoint /data/backup/tmp/ | ./filemgr-linux64 --action stream-upload --bucket <bucketName> --key <incre-backupKey-incre> --file stdin --threads <threads> --retrycount <retry> --storageclass <storage-class> # 增備
# xtrabackup物理備份恢復, 需要提前轉移原來的DB數據, 備份恢復后需要重啟服務
    # 全量備份恢復
        # full-backupKey為全量備份使用的key：
        ./filemgr-linux --action stream-download --bucket <bucketName> --key <full-backupKey> --threads <threads> --retrycount <retry> 2>./error.log | tar xf - -C /data/backup/full/
        innobackupex --apply-log /data/backup/full/
        innobackupex --copy-back --rsync /data/backup/full/
    # 增量備份恢復
        # full-backupKey為全量備份使用的key，incre-backupKey為增量備份使用的key：
        ./filemgr-linux --action stream-download --bucket <bucketName> --key <incre-backupKey-base> --threads <threads> --retrycount <retry> 2>./error.log | tar xf - -C /data/backup/base/
        innobackupex --apply-log --redo-only /data/backup/base/
        ./filemgr-linux --action stream-download --bucket <bucketName> --key <incre-backupKey-incre> --threads <threads> --retrycount <retry> 2>./error.log | xbstream -x -C /data/backup/incre
        innobackupex --apply-log /data/backup/base --incremental-dir=/data/backup/incre
        innobackupex --copy-back --rsync /data/backup/base
# lvm snapshot物理備份恢復
    # 備份，/snap-lvm0為備份lv 掛載點，/data-lvm0為源lv掛載點
    tar czf - /snap-lvm0/* | ./filemgr-linux64  --action stream-upload --bucket <bucketName> --key <lvmsnap-backupKey> --file stdin
    # 恢復，本地數據被清空，--strip-components 用來去除壓縮快照時產生的第一層目錄
    ./filemgr-linux64 --action stream-download --bucket <bucketName> --key <lvmsnap-backupKey> 2>./error.log | tar xzf - -C /data-lvm0/ --strip-components 1
    # 合并歷史快照, /snap-lvm0為快照lv掛載點
    ./filemgr-linux64 --action stream-download --bucket <bucketName> --key <lvmsnap-backupKey> 2>./error.log | tar xzf - -C /snap-lvm0/ --strip-components 1
    lvconvert --merge <vg>/<snap-lv>
針對有特殊需求的用戶，這邊提供了相應的邏輯備份命令，其他備份命令請類比實現：
# 壓縮
    # 備份
    mysqldump -A | gzip | ./filemgr-linux64 --action stream-upload --bucket <bucketName> --key <all-backupKey> --file stdin --threads <threads> --retrycount <retry> --storageclass <storage-class>
    # 恢復
    ./filemgr-linux --action stream-download --bucket <bucketName> --key <all-backupKey> --threads <threads> --retrycount <retry> 2>./error.log | gzip -d | mysql
# 加密
    # 備份，使用aes256，指定密碼文件key file在備份路徑中進行壓縮
    mysqldump -A | openssl enc -e -aes256 -in - -out - -kfile <key file> | ./filemgr-linux64 --action stream-upload --bucket <bucketName> --key <all-backupKey> --file stdin --threads <threads> --retrycount <retry> --storageclass <storage-class>
    # 恢復
    ./filemgr-linux --action stream-download --bucket <bucketName> --key <all-backupKey> --threads <threads> --retrycount <retry> 2>./error.log | openssl enc -d -aes256 -in - -out - -kfile <key file> | mysqlCopyErrorSuccess

備注： 如果不希望異常情況終止任務，請將 retrycount 參數設置為一個比較大的值，默認為 10。每次執行失敗會開始重試，第 5 次重試開始每次重試會等待 5s，請合理計算重試次數。

為該 bucket 配置定期刪除任務

當備份文件超過配置期限，文件會被自動刪除

為該 bucket 配置跨區域復制任務

當該 bucket 下產生備份文件時，文件會被自動同步到配置好的異地 bucket 中