Mongodb增量備份和基于時間點恢復

IT那活兒發布于2023-01-11 13:20 / 4101人閱讀

Mongodb增量備份和基于時間點恢復

數據庫備份是DBA的一種日常工作，備份包括物理備份和邏輯備份。每一種DBMS產品都提供了自己的備份和恢復的工具，如Oracle的rman和數據泵就是實現數據庫備份工具的代表。

要實現數據庫增量備份一般都是基于物理備份備份來實現，如rman0級+N級+歸檔日志，但是Mongodb官方以及第三方都沒有提供物理備份工具（基于文件系統的除外），僅提供了用于邏輯備份的mongoexport或者Mongodump。一般來說邏輯備份是無法實現增量的，但在Mongodb復制集中，提供了一個名為oplog的固定大小集合（默認為磁盤空間的5%，可手動修改）來存儲所有的數據變更操作（復制集架構就利用此集合來進行數據同步），并且其具有冪等性的特點，因此可通過備份oplog的方式來進行增量備份和增量恢復。

由于oplog的冪等性，即做了多次oplog恢復或者多次重復的操作，也能保證其數據跟只執行一次的結果相同，所以我們使用如下方案來實現增量備份和恢復：

1、全備：按固定頻率進行mongodump全庫導出備份，如每天一次

2、增量備份：按固定頻率使用Mongodump進行oplog備份，且每次備份時指定備份的起始位置為上次備份時間的前面幾分鐘，即多備份幾分鐘的oplog數據，這樣可確保數據不丟失。此處要注意，oplog是一個capped集合，所以備份周期必須在oplog保留的時間范圍內（即按照當前數據庫的oplog大小，假如oplog集合可以保存3小時的數據，那么備份頻率不能高于3小時）。例：每小時備份一次oplog

starttime=`date-d -62 Minutes +%s`

mongodump--host=127.0.0.1 --port=27017 --authenticationDatabase admin -uroot-p*** -d local -c oplog.rs --gzip --query{ts:{$gte:Timestamp($starttime, 1)}} --out=/backupdir

在本例中，每小時備份一次oplog，每次備份的起始時間點為當前時間的前面62min,這樣每次重復備份2min的oplog。

若出現了故障導致數據丟失或者人為誤操作，可以將數據恢復到任意時間點

3、全庫恢復：利用步驟1的全備進行恢復。

4、指定從全備開始前的上一個oplog備份集開始進行恢復，一直恢復到指定的時間點。例：多次恢復oplog直到指定的時間點。

mongorestore-h 127.0.0.1 --port 27017 --oplogReplay /backup/oplog2021032714

mongorestore-h 127.0.0.1 --port 27017 --oplogReplay /backup/oplog2021032715

…………

mongorestore-h 127.0.0.1 --port 27017 --oplogReplay --oplogLimit /backup/oplog/oplog.rs.bson

需要注意的是，oplog只存在于復制集架構中，單機數據庫是不會寫oplog的，所以針對單機架構，如果要實現增量備份的話，若有多的機器，可改成復制集，如果沒有多余的機器，則可將單機改成單節點的復制集。對于分片集群架構，要求將所有分片部署成復制集架構，備份需基于所有的分片進行備份，而不能基于mongos進行備份。

附：增量備份腳本：

#!/bin/bash

##env set

mongobin="/usr/local/mongodb/bin"

host=localhost

mongouser="admin"

mongopwd="123456"

mongoport=27017

fullbakdir=/home/mongo/backup/full-`date+%F`

inc_bakdir=/home/mongo/backup/inc-`date+"%Y-%m-%d-%H%M%S"`

#starttime=`date-d -1 hours +%s`

starttime=`date-d -62 Minutes +%s`

checktime=3900

##Make needs dirs

functionfulldir()

{

if[ ! -d "${fullbakdir}" ]; then

mkdir-p ${fullbakdir}

else

echo"已經存在備份目錄,本次備份退出,請檢查環境"

exit

}

functionincdir()

{

if[ ! -d "${inc_bakdir}" ]; then

mkdir-p ${inc_bakdir}

}

functionfullback()

{

${mongobin}/mongodump--host=${host} --port=${mongoport} --authenticationDatabase admin-u${mongouser} -p${mongopwd} -j 8 --oplog --gzip --out=${fullbakdir}

}

functioninclback()

{

${mongobin}/mongodump--host=${host} --port=${mongoport} --authenticationDatabase admin-u${mongouser} -p${mongopwd} -d local -c oplog.rs --gzip --query{ts:{$gte:Timestamp($starttime, 1)}} --out=${inc_bakdir}

}

functionchkoplog()

{

oplogtime=`mongo--eval "rs.printReplicationInfo()" |grep "log lengthstart to end" |awk {print $6} |awk -Fs {print $1}`

echo$oplogtime

if[ ${oplogtime} -gt 60 ];then

return0

else

return1

}

signal=${1:-full}

if[ ${signal} = full ];then

fulldir

fullback

elif[ ${signal} = inc ];then

incdir

chkoplog

if[ $? -eq 0 ];then

inclback

else

echo"send msg"

else

echo"請指定備份類型"

通過在crontab中部署定時任務來實現固定頻率備份

13 * * * sh /home/mongo/scripts/backup.sh full

30*/1 * * * sh /home/mongo/scripts/backup.sh inc

END

云服務器 GPU云服務器 mongodb增量備份恢復 mongodb增量備份 mongodb 備份恢復 mongodb備份恢復

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129954.html

為你的mongodb砌堵墻吧，防止被攻擊和勒索

摘要：起因年月，當大家都在為的逝去寫總結，并為年的到來做計劃的時候，一波黑客發動了一輪攻擊，攻擊的對象瞄準了數據庫。他們刪除了所有數據庫數據，并留下一個勒索數據庫。不幸的是，我也成為這幸運的一員。謹記，安全，安全，安全。起因 2017年1月，當大家都在為16的逝去寫總結，并為17年的到來做計劃的時候，一波黑客發動了一輪攻擊，攻擊的對象瞄準了mongodb數據庫。他們刪除了所有數據庫數據，并...

calx 2019-06-21 16:32 評論0 收藏0
為你的mongodb砌堵墻吧，防止被攻擊和勒索

摘要：起因年月，當大家都在為的逝去寫總結，并為年的到來做計劃的時候，一波黑客發動了一輪攻擊，攻擊的對象瞄準了數據庫。他們刪除了所有數據庫數據，并留下一個勒索數據庫。不幸的是，我也成為這幸運的一員。謹記，安全，安全，安全。起因 2017年1月，當大家都在為16的逝去寫總結，并為17年的到來做計劃的時候，一波黑客發動了一輪攻擊，攻擊的對象瞄準了mongodb數據庫。他們刪除了所有數據庫數據，并...

Meathill 2019-06-26 17:08 評論0 收藏0