一體機(jī)系統(tǒng)盤offline的處理過程

IT那活兒發(fā)布于2023-01-11 13:19 / 1388人閱讀

點(diǎn)擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了！！！

概述：

一體機(jī)有數(shù)據(jù)盤和系統(tǒng)盤，數(shù)據(jù)盤要是missing可以由其它柜數(shù)據(jù)盤重平衡后修復(fù)，但是系統(tǒng)盤在硬件上只有一組冗余，壞了之后需要即時修復(fù)。

一

事情發(fā)生及分析

1. 發(fā)現(xiàn)問題

收到一體機(jī)數(shù)據(jù)庫ASM存在離線磁盤組的告警告警。

2. ASM檢查

數(shù)據(jù)庫檢查ASM磁盤情況，發(fā)現(xiàn)存在offline disk磁盤。

3. 臨時方案

嘗試手動online asm disk，執(zhí)行后失敗報not visible cluster-wide。

說明存在損壞，有可能是物理壞盤了。

4. 分析日志

1）查看ASM日志，確認(rèn)為底層磁盤有問題。

2）登錄一體機(jī)進(jìn)行狀態(tài)檢查，發(fā)現(xiàn)所有磁盤組為正常，對應(yīng)ASM的的磁盤組提示狀態(tài)未更新。

找到對應(yīng)的節(jié)點(diǎn)進(jìn)行日志檢查，發(fā)現(xiàn)存在ERROR日志，確認(rèn)為00號盤損壞，需要及時更換 。（注：一個cell節(jié)點(diǎn)有12塊盤其中00和01為系統(tǒng)盤所以存在異常需要立馬進(jìn)行更換，避免出現(xiàn)因系統(tǒng)盤異常導(dǎo)致的二次故障）

二

解決過程

經(jīng)過和同事分析后，必須盡快對物理盤進(jìn)行修復(fù)，先對壞盤drop，再修復(fù)物理盤。

1. 舊盤清理drop

在db節(jié)點(diǎn)上grid用戶登錄，這是要確認(rèn)一下asm disk是不是被drop掉。drop掉就可以直接更換，如果沒有，就需要手動去drop。

[root@dw01db01 ~]# su - oracle
[oracle@dw01db01 ~]$ ssh oracle@dw01db02
[oracle@dw01db01 ~]$ env
[oracle@dw01db01 ~]$ export ORACLE_SID=+ASM1
[oracle@dw01db01 ~]$ export ORACLE_HOME=/u01/app/11.2.0.3/grid
[oracle@dw01db01 ~]$ sqlplus / as sysasm
SQL> set linesize 132
SQL> col path format a50
SQL> select group_number,name,state from v$asm_diskgroup;
GROUP_NUMBER NAME STATE
------------ ------------------------------ -----------
1 DATAC1 MOUNTED
2 DATAC2 MOUNTED
3 DATAC3 MOUNTED
4 DBFS_DG MOUNTED
5 RECOC1 MOUNTED
SQL>select group_number,path,header_status,mount_status,mode_status,name from V$ASM_DISK where path like %CD_00_ndw1celadm02;SQL> SQL>

GROUP_NUMBER PATH HEADER_STATU MOUNT_S MODE_ST NAME
------------ -------------------------------------------------- ------------ ------- ------- ------------------------------
0      o/192.168.XX.7;192.168.XX.8/RECOC1_CD_00_ndw1celad UNKNOWN CLOSED ONLINE
m02

0      o/192.168.XX.7;192.168.XX.8/DATAC1_CD_00_ndw1celad UNKNOWN CLOSED ONLINE
m02

本次磁盤損壞ASM相關(guān)的磁盤沒有drop，需手動drop,在手動drop之前還需要確認(rèn)當(dāng)前的ASM實(shí)例是否仍在reblance。

SQL> select * from gv$asm_operation where state=RUN;
no rows selected------沒有正在運(yùn)行的reblance

沒有運(yùn)行的reblance，進(jìn)行磁盤drop：

SQL> alter diskgroup RECOC1 drop disk RECOC1_CD_00_ndw1celadm02 
rebalance power 4;----并發(fā)可根據(jù)實(shí)際情況進(jìn)行調(diào)整

2. 機(jī)房現(xiàn)場檢查

完成drop后即可進(jìn)行磁盤更換，在機(jī)房找到指定一體機(jī)，上方為db節(jié)點(diǎn)，下方為cell節(jié)點(diǎn)（drop掉后到對應(yīng)cell節(jié)點(diǎn)檢查狀態(tài)會發(fā)現(xiàn)該塊異常盤未提出節(jié)點(diǎn)，cell節(jié)點(diǎn)的順序是由下至上），查看故障指示燈，橙燈亮表示為有異常！

3. 機(jī)房硬盤更換

找到指定位置后進(jìn)行拔插，注意拔掉磁盤后等待5-10分鐘再將磁盤插入。

在此過程中遇到問題：

本次X5-X6為一套集群，并且X5-X6的硬件可以共用的，但是X5的硬盤為4T，X6為8T。剛好攜帶的硬件為8T進(jìn)行插盤后無法兼容。導(dǎo)致插入新盤狀態(tài)持續(xù)未恢復(fù)！
此過程中重新插入拔出不會有任何影響，重新跟換適配盤進(jìn)行插入。所以更換前一定確認(rèn)清楚設(shè)備型號已經(jīng)其他節(jié)點(diǎn)已經(jīng)運(yùn)行的設(shè)備容量。
更換為指定符合要求的硬件后，插入硬盤指示燈閃爍后仍為橙燈，檢查發(fā)現(xiàn)為新盤一直未加入到節(jié)點(diǎn)組中。通過cellcli -e list alerthistory命令可查看新盤插入后的分配情況，提示未分配到指定的組中，檢查發(fā)現(xiàn)為節(jié)點(diǎn)的/目錄滿了導(dǎo)致，清理后再次拔插磁盤恢復(fù)正常。
由于00和01為系統(tǒng)盤所以當(dāng)/目錄空間不足時無法進(jìn)行重新平衡）插入后觀察指示燈，綠燈快速閃爍后恢復(fù)正常閃爍。登錄對應(yīng)cell節(jié)點(diǎn)檢查日志。

[root@ndw1celadm02 ~]# cellcli -e list alerthistory---查看日志
[root@ndw1celadm02 ~]#cellcli -e list griddisk---檢查狀態(tài)

都恢復(fù)正常后進(jìn)行rebalance操作：

alter diskgroup DATAC1 rebalance power 32;

至此一體機(jī)換盤全部完成！

三

事情總結(jié)

每天做好一體機(jī)硬件巡檢。
每天做好數(shù)據(jù)庫存儲ASM巡檢。
壞盤后即時做好應(yīng)急方案，根據(jù)實(shí)際情況制定處理方案并解決。
事情出現(xiàn)后，若無法自己判斷嚴(yán)重性，應(yīng)該立即上報，尋求專家協(xié)同分析后，再制定相應(yīng)措施，避免二次故障及人為問題。
做好備件核查及備件入庫，避免出現(xiàn)硬件問題，無法即時得到更換。