TiDB 數(shù)據(jù)庫(kù)故障應(yīng)急操作手冊(cè)

IT那活兒發(fā)布于2023-01-11 13:19 / 917人閱讀

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

應(yīng)用范圍：

本文檔描述為生產(chǎn)環(huán)境TiDB服務(wù)不可用情況下的應(yīng)急手段。

一

名詞解釋

TiDB Server
SQL層，對(duì)外暴露MySQL 協(xié)議的連接 endpoint，負(fù)責(zé)接受客戶端的連接，執(zhí)行 SQL解析和優(yōu)化，最終生成分布式執(zhí)行計(jì)劃。
TiDB層本身是無(wú)狀態(tài)的，實(shí)踐中可以啟動(dòng)多個(gè)TiDB實(shí)例，通過(guò)負(fù)載均衡組件 (如 LVS、HAProxy或F5) 對(duì)外提供統(tǒng)?的接入地址，客戶端的連接可以均勻地分?jǐn)傇诙鄠€(gè)TiDB實(shí)例上以達(dá)到負(fù)載均衡的效果。
TiDB Server本身并不存儲(chǔ)數(shù)據(jù) ，只是解析SQL ，將實(shí)際的數(shù)據(jù)讀取請(qǐng)求轉(zhuǎn)發(fā)給底層的存儲(chǔ)節(jié)點(diǎn)TiKV (或 TiFlash) 。
PD Server
整個(gè)TiDB集群的元信息管理模塊，負(fù)責(zé)存儲(chǔ)每個(gè)TiKV節(jié)點(diǎn)實(shí)時(shí)的數(shù)據(jù)分布情況和集群的整體拓?fù)浣Y(jié)構(gòu) ，提供TiDB Dashboard管控界面，并為分布式事務(wù)分配事務(wù) ID。PD不僅存儲(chǔ)元信息，同時(shí)還會(huì)根據(jù) TiKV 節(jié)點(diǎn)實(shí)時(shí)上報(bào)的數(shù)據(jù)分布狀態(tài)，下發(fā)數(shù)據(jù)調(diào)度命令給具體的TiKV節(jié)點(diǎn) ，可以說(shuō)是整個(gè)集群的“大腦”。
此外，PD 本身也是由至少3個(gè)節(jié)點(diǎn)構(gòu)成，擁有高可用的能?。建議部署奇數(shù)個(gè) PD 節(jié)點(diǎn)。
TiKV
負(fù)責(zé)存儲(chǔ)數(shù)據(jù)，從外部看TiKV是?個(gè)分布式的提供事務(wù)的Key-Value存儲(chǔ)引擎。存儲(chǔ)數(shù)據(jù)的基本單位是Region ，每個(gè)Region負(fù)責(zé)存儲(chǔ)?個(gè)Key Range (從 StartKey 到 EndKey的左閉右開(kāi)區(qū)間)的數(shù)據(jù) ，每個(gè)TiKV節(jié)點(diǎn)會(huì)負(fù)責(zé)多個(gè)Region。
TiKV的API在KV鍵值對(duì)層面提供對(duì)分布式事務(wù)的原生支持，默認(rèn)提供了 SI (Snapshot Isolation) 的隔離級(jí)別，這也是 TiDB 在SQL層面支持分布式事務(wù)的核心。TiDB 的SQL層做完SQL解析后，會(huì)將SQL的執(zhí)行計(jì)劃轉(zhuǎn)換為對(duì)TiKV API的實(shí)際調(diào)用。所以，數(shù)據(jù)都存儲(chǔ)在TiKV中。另外，TiKV 中的數(shù)據(jù)都會(huì)自動(dòng)維護(hù)多副本 (默認(rèn)為三副本) ，天然支持高可用和自動(dòng)故障轉(zhuǎn)移。
TiFlash
TiFlash是?類特殊的存儲(chǔ)節(jié)點(diǎn)。和普通 TiKV 節(jié)點(diǎn)不?樣的是，在 TiFlash 內(nèi)部，數(shù)據(jù)是以列式的形式進(jìn)行存儲(chǔ)，主要的功能是為分析型的場(chǎng)景加速。

二

命令執(zhí)行

系統(tǒng)命令
通過(guò)ssh登陸到中控機(jī)(已經(jīng)安裝TiUP的機(jī)器) ，使用TiUP client連接 TiDB。
SQL語(yǔ)句
通過(guò)MySQL Client命令行登陸到TiDB Server。在MySQL client中執(zhí)行的命令，登陸方式如下：

mysql --host 127.0.0.1 --port 4000 -u root

三

常見(jiàn)錯(cuò)誤碼

1. Error Number: 8003
ADMIN CHECK TABLE命令在遇到行數(shù)據(jù)跟索引不?致的時(shí)候返回該錯(cuò)誤，在檢查表中數(shù)據(jù)是否有損壞時(shí)常出現(xiàn)。出現(xiàn)該錯(cuò)誤時(shí) ，請(qǐng)向PingCAP工程師或通過(guò)官方論壇尋求幫助。
2. Error Number: 8223
檢測(cè)出數(shù)據(jù)與索引不?致的錯(cuò)誤，如果遇到該報(bào)錯(cuò)請(qǐng)向PingCAP工程師或通過(guò)官方論壇尋求幫助。
3. Error Number: 8027
表結(jié)構(gòu)版本過(guò)期。TiDB 采用在線變更表結(jié)構(gòu)的方法。當(dāng)TiDB server表結(jié)構(gòu)版本落后于整個(gè)系統(tǒng)的時(shí)，執(zhí)行SQL將遇到該錯(cuò)誤。遇到該錯(cuò)誤，請(qǐng)檢查該 TiDB server 與PD leader之間的網(wǎng)絡(luò)。
4. Error Number: 8120
獲取不到事務(wù)的start tso，請(qǐng)檢查 PD Server 狀態(tài)/監(jiān)控/日志以及TiDB Server與PD Server 之間的網(wǎng)絡(luò)。
5. Error Number: 9001
請(qǐng)求PD超時(shí)，請(qǐng)檢查PD Server 狀態(tài)/監(jiān)控/日志以及TiDB Server與PD Server之間的網(wǎng)絡(luò)。
6. Error Number: 9002
請(qǐng)求TiKV超時(shí)，請(qǐng)檢查TiKV Server狀態(tài)/監(jiān)控/日志以及TiDB Server與TiKV Server之間的網(wǎng)絡(luò)。
7. Error Number: 9005
某個(gè)Raft Group不可用，如副本數(shù)目不足，出現(xiàn)在 TiKV 比較繁忙或者是TiKV節(jié)點(diǎn)停機(jī)的時(shí)候，請(qǐng)檢查TiKV Server狀態(tài)/監(jiān)控/日志。
8. Error Number: 9003
TiKV操作繁忙，?般出現(xiàn)在數(shù)據(jù)庫(kù)負(fù)載比較高時(shí)，請(qǐng)檢查 TiKV Server 狀態(tài)/監(jiān)控/日志。
9. Error Number: 9012
請(qǐng)求TiFlash 超時(shí)。請(qǐng)檢查TiFlash Server狀態(tài)/監(jiān)控/日志以及TiDB Server與TiFlash Server 之間的網(wǎng)絡(luò)。
10. Error Number: 9013
TiFlash操作繁忙。該錯(cuò)誤?般出現(xiàn)在數(shù)據(jù)庫(kù)負(fù)載比較高時(shí)。請(qǐng)檢查TiFlash Server的狀態(tài)/監(jiān)控/日志。

四

TiDB服務(wù)器宕機(jī)

場(chǎng)景描述：TiDB服務(wù)器宕機(jī)
業(yè)務(wù)影響：多個(gè)TiDB無(wú)影響，宕機(jī)影響SQL執(zhí)行。
啟動(dòng)條件：
序號(hào)	步驟名稱	應(yīng)急處置流程
T1	場(chǎng)景識(shí)別	Ping TiDB服務(wù)器的ip地址，無(wú)法ping通。 ping 檢查當(dāng)前集群狀態(tài)，TiDB狀態(tài)顯示down tiup cluster dipslay
T2	現(xiàn)場(chǎng) 保護(hù)	目錄：/log 目錄下tidb.log日志
T3	操作步驟	檢查當(dāng)前集群狀態(tài)，TiDB狀態(tài)顯示down tiup cluster dipslay 啟動(dòng)TiDB節(jié)點(diǎn) tiup cluster start -N :
T4	驗(yàn)證步驟	再次確認(rèn)是否正常，檢查當(dāng)前集群狀態(tài)，TiDB狀態(tài)顯示up tiup cluster dipslay

五

PD服務(wù)器宕機(jī)

場(chǎng)景描述：PD服務(wù)器宕機(jī)
業(yè)務(wù)影響：PD服務(wù)器宕機(jī)
啟動(dòng)條件：
序號(hào)	步驟名稱	應(yīng)急處置流程
T1	場(chǎng)景識(shí)別	Ping PD服務(wù)器的ip地址，無(wú)法ping通。 ping 檢查當(dāng)前集群狀態(tài)，PD狀態(tài)顯示down tiup cluster dipslay 觀察宕機(jī)的PD節(jié)點(diǎn)是否為leader curl :/pd/api/v1/member
T2	現(xiàn)場(chǎng)保護(hù)	目錄：/log 目錄下tidb.log日志
T3	操作步驟	檢查當(dāng)前集群狀態(tài)，PD狀態(tài)顯示down tiup cluster dipslay 非leader節(jié)點(diǎn)宕機(jī)對(duì)集群無(wú)影響，恢復(fù)后可直接啟動(dòng) tiup cluster start -N : leader節(jié)點(diǎn)宕機(jī)后，PD需要選舉 leader，在這期間可能會(huì)導(dǎo)致集群不可用，最長(zhǎng)時(shí)間在10s內(nèi)。此時(shí)需要確認(rèn)業(yè)務(wù)是否受影響，QPS是否下降。觀察監(jiān)控TiDB欄Failed query OPM監(jiān)控面板，確認(rèn)執(zhí)行失敗的 SQL 語(yǔ)句。等服務(wù)器恢復(fù)后使用如下命令啟動(dòng) PD 。 tiup cluster start -N :

六

TiKV服務(wù)器宕機(jī)

場(chǎng)景描述：TiKV服務(wù)器宕機(jī)
業(yè)務(wù)影響：TiKV服務(wù)器宕機(jī)
啟動(dòng)條件：
序號(hào)	步驟名稱	應(yīng)急處置流程
T1	場(chǎng)景識(shí)別	Ping TiKV服務(wù)器的ip地址，無(wú)法ping通。 ping 檢查當(dāng)前集群狀態(tài)，顯示TiKV組件顯示Down tiup cluster dipslay
T2	現(xiàn)場(chǎng)保護(hù)	目錄：/log 目錄下tidb.log日志
T3	操作步驟	檢查當(dāng)前集群狀態(tài)，TiKV狀態(tài)顯示down tiup cluster dipslay 兩臺(tái) (含) TiKV 服務(wù)器的 down 機(jī)不會(huì)影響集群提供服務(wù)的能力。如有 down 機(jī)，觀察監(jiān)控 TiDB 欄Failed query OPM監(jiān)控面板，確認(rèn)執(zhí)行失敗的 SQL 語(yǔ)句，可用如下命令啟動(dòng)TiKV節(jié)點(diǎn)： tiup cluster start -N :
T4	驗(yàn)證步驟	再次確認(rèn)是否正常，檢查當(dāng)前集群狀態(tài)，TiKV狀態(tài)顯示up tiup cluster dipslay