Oracle的塊改變跟蹤引發的宕庫案例

IT那活兒發布于2023-01-11 13:20 / 625人閱讀

Oracle的塊改變跟蹤引發的宕庫案例

背景

某天晚上22點16分左右，收到了一個RAC數據庫兩節點的所有實例宕庫告警，登錄服務器，啟動數據庫時，數據庫open失敗。

處理過程

1、排查alert日志，日志中發現了ora-600報錯，信息如下：

▼▼▼
Mem# 1: +DG_DATA_SSD_1/NSFDB/ONLINELOG/group_4.272.1008028019
2021-01-04T22:26:37.030965+08:00
OS process OFSD (ospid 5144) idle for 30 seconds, exiting
2021-01-04T22:26:38.543347+08:00
Errors in file /u01/app/oracle/diag/rdbms/nsfdb/nsfdb1/trace/nsfdb1_ora_20131.trc  (incident=993166):
ORA-00600: internal error code, arguments: [krccfl_chunk], [0x9FFFFFFFBDE54DF0], [2], [], [], [], [], [], [], [], [], []
Incident details in: /u01/app/oracle/diag/rdbms/nsfdb/nsfdb1/incident/incdir_993166/nsfdb1_ora_20131_i993166.trc
2021-01-04T22:26:40.532334+08:00
Dumping diagnostic data in directory=[cdmp_20210104222640], requested by (instance=1, osid=2298720), summary=[incident=993166].

2、登錄mos網站，搜索ora-600報錯

匹配到了一個文章“Ora-600 Krccfl_chunk When Block Change Tracking enabled (Doc ID 2046745.1)”

文章中提到了“Backup change tracking is enabled，Datafile in Rac added to local destination rather then shared location and later taken offline”，出現了Ora-600 Krccfl_chunk報錯，需要先禁用塊改變跟蹤，才能open數據庫。

3、檢查alert日志最近的中是否有數據文件offline/online的操作

節點1

▼▼▼
2021-01-04T20:11:39.709767+08:00
alter database datafile +DG_DATA_SSD_2/NSFDB/DATAFILE/tbs_data.282.1060977401 online
Completed: alter database datafile +DG_DATA_SSD_2/NSFDB/DATAFILE/tbs_data.282.1060977401 online
2021-01-04T20:13:15.647462+08:00
Thread 1 advanced to log sequence 68674 (LGWR switch)
  Current log# 4 seq# 68674 mem# 0: +DG_DATA_SSD_1/NSFDB/ONLINELOG/group_4.271.1008028017
  Current log# 4 seq# 68674 mem# 1: +DG_DATA_SSD_1/NSFDB/ONLINELOG/group_4.272.1008028019
2021-01-04T20:13:16.273721+08:00

節點2

▼▼▼
2021-01-04T19:46:14.210687+08:00
alter tablespace TBS_DATA add datafileDG_DATA_SSD_2 size 30g autoextend off
ORA-1537 signalled during: alter tablespace TBS_DATA add datafileDG_DATA_SSD_2 size 30g autoextend off...
2021-01-04T19:46:21.320437+08:00
alter tablespace TBS_DATA add datafileDG_DATA_SSD_2 size 30g autoextend off
ORA-1537 signalled during: alter tablespace TBS_DATA add datafileDG_DATA_SSD_2 size 30g autoextend off...
2021-01-04T19:51:10.043864+08:00
2021-01-04T19:56:41.886951+08:00
ALTER DATABASE MOVE DATAFILE /u01/app/oracle/product/12.2.0/db_1/dbs/DG_DATA_SSD_2  TO +DG_DATA_SSD_2
2021-01-04T19:56:41.908716+08:00
Moving datafile /u01/app/oracle/product/12.2.0/db_1/dbs/DG_DATA_SSD_2 (686) to +DG_DATA_SSD_2
2021-01-04T20:00:11.018835+08:00
Thread 2 advanced to log sequence 54383 (LGWR switch)
  Current log# 5 seq# 54383 mem# 0: +DG_DATA_SSD_1/NSFDB/ONLINELOG/group_5.273.1008028023
  Current log# 5 seq# 54383 mem# 1: +DG_DATA_SSD_1/NSFDB/ONLINELOG/group_5.274.1008028025
2021-01-04T20:00:11.726628+08:00
TT02: Standby redo logfile selected for thread 2 sequence 54383 for destination LOG_ARCHIVE_DEST_2
2021-01-04T20:00:16.340789+08:00
Archived Log entry 178702 added for T-2.S-54382 ID 0x5a823d6f LAD:1
2021-01-04T20:01:29.321397+08:00
Move operation committed for file +DG_DATA_SSD_2/NSFDB/DATAFILE/tbs_data.282.1060977401
2021-01-04T20:01:31.385729+08:00
Completed: ALTER DATABASE MOVE DATAFILE /u01/app/oracle/product/12.2.0/db_1/dbs/DG_DATA_SSD_2  TO +DG_DATA_SSD_2

咨詢了項目組同事，確認了操作時間和操作步驟都符合

問題原因

1、在alert日志中發現，最近有添加數據文件操作，但在添加文件時，磁盤組名字前面的”+”忘記添加了，數據文件添加到了本地，還好這一個12.2.0.1的庫，使用了”move tablespace online“的新特性，把數據文件在線移動到了磁盤組中。但是這個操作卻沒有在塊改變跟蹤信息中體現。

22點定時備份任務開始啟動，數據庫備份時讀取塊改變跟蹤的記錄文件時，因為讀不到了在本地添加的數據文件，觸發了數據庫數據保護機制，從而導致數據庫實例cash掉。

2、那就根據文章中的提供的workaround，先啟動實例到mount，再執行如下命令：

alter database disable block change tracking;

alter database open;

alter database enable block change tracking using file ‘+磁盤組名稱/文件名’;

注意：以前的塊改變跟蹤信息因為disable/enable操作丟失了，需要重新進行一次0級備份之后，塊改變跟蹤信息才能生效。

改進措施

增加操作審核，避免誤操作
在使用Move table online操作時，要注意塊改變跟蹤的問題。

END

更多精彩干貨分享

點擊下方名片關注

IT那活兒

文章版權歸作者所有，未經允許請勿轉載,若此文章存在違規行為，您可以聯系管理員刪除。

轉載請注明本文地址：http://m.specialneedsforspecialkids.com/yun/129900.html

Oracle最佳連接方式之service最佳實踐及測試（下）

Oracle最佳連接方式之service最佳實踐及測試（下） img{ display:block; margin:0 auto !important; width:100%; } body{ width:75%...

IT那活兒 2023-01-11 13:19 評論0 收藏1656
云數據存儲需要協助解決數據成本困境

摘要：云消費者需要協助管理數據成本，四個戰略已經形成，協助他們解決這些成本窘境。對云數據存儲使用摘要數據庫。在云端存儲數據永遠也不可能比在一個編寫的硬盤上存儲數據便宜，但是利用云存儲這項技術的優勢可能會給購買者最佳的成本和最高的投入產出比。云數據存儲的高成本粉碎了企業公有云業務案例的夢想。一些企業表示他們可以以和按月云存儲和用例費用相同的成本購買到硬盤。但對云消費者而言，可能很難搞清楚價格差異到底...

trilever 2019-04-29 15:39 評論0 收藏0
看主流云數據存儲怎么“整”最劃算？

摘要：云數據存儲的高成本粉碎了企業公有云業務案例的夢想。企業認為訪問云數據迫使他們擴展連接速度，為了避免擁擠。對云數據存儲使用摘要數據庫。這樣就將庫存項目脫離了云存儲。云數據存儲的高成本粉碎了企業公有云業務案例的夢想。一些企業表示他們可以以和按月云存儲和用例費用相同的成本購買到硬盤。同時微軟和谷歌免費贈送其SkyDrive和Google Drive服務。云消費者可能發現很難搞清楚價格差異到底體...

ZoomQuiet 2019-04-25 17:29 評論0 收藏0
由for update引發的血案

摘要：微信公眾號后端進階，專注后端技術分享框架分布式中間件服務治理等等。微信公眾號「后端進階」，專注后端技術分享：Java、Golang、WEB框架、分布式中間件、服務治理等等。老司機傾囊相授，帶你一路進階，來不及解釋了快上車！公司的某些業務用到了數據庫的悲觀鎖 for update，但有些同事沒有把 for update 放在 Spring 事務中執行，在并發場景下發生了嚴重的線程阻...

roundstones 2019-08-16 17:50 評論0 收藏0