摘要：而且還要考慮恢復數據庫什么的。然而問題又來了雖然不會了，但恢復得并不完整。由于這臺服務器經常有小白來管理，因此它裝了圖形界面，。問題找到，重裝，一切恢復正常。系統交給小白之前一定要對他們進行認真的培訓。

學校機房采用一臺IBM小型機作為OJ服務器，現在浙江大學的馬宏菩學長給它裝了CentOS 6.4，做了精密的配置，目標是它能正常工作十年以上。事實也證明他的工作何其卓越：從配置好到現在一年多時間從來沒有遇到過任何系統問題，性能一直穩定得像放射性同位素的半衰期一樣，作為一臺OJ簡直棒極了。他畢業后由我負責維護。

而我其實也即將畢業，自然需要未來的學生學習維護。然而新的信息組學生并沒有在初中用過Linux操作系統的，就算高中開始用，也都只是玩玩Ubuntu的圖形界面，至少沒有一個會用Vim/Emacs的，就知道水平如何了。

前幾天，他們將一組數據送上OJ，因為cp命令參數弄反，然后sudo rm * -r，不知道怎么回事就把/lib給刪掉了……不久rm就崩潰了，停止運行。然后系統就廢掉了，開機不久Kernel就因為動態庫調用失敗panic。

向馬宏菩學長請教后我準備了兩套方案：
1.用CentOS 6.4 LiveCD進入系統，把LiveCD的/lib復制給系統，先讓系統基本的功能能夠運行，然后再安裝失去的功能
2.重裝

顯然我是不想重裝的，一是這臺機器數據很多，二是這樣一臺機器相當難裝機，盡管馬宏菩學長已經做到了RAID5磁盤陣列區塊對齊（請點擊這里看他如何實現對齊的文章），解決了最難的問題，但重裝還是讓人覺得可怕的。而且還要考慮恢復MySQL數據庫什么的。所以我還是希望方案1可用。

因此我刻錄了CentOS6.4的LiveDVD和安裝DVD，然后開進去。開進去干的第一件事就是備份數據。最初我讓學弟們給我格式化一塊空置的原本是NTFS的1TB移動硬盤為ext4,結果他格式化成了exFAT……而我只是開啟了復制就去上晚自習了，下課回來一看才發現不妙，還是自己去格式化，然后扔在那里備份了一個晚上，到第二天中午下課，過去看已經備份完了。

我最擔心的是他們不僅僅刪了/lib，結果仔細一看，除了lib找不到，其他都在，還把用于存放數據的目錄移動到了根底下。進去一看，居然有個目錄叫lib，大喜，趕緊將其復制出來，重啟，然后依然Kernel panic，依然是動態庫調用錯誤。

這下比較郁悶了。仔細看了看復制出來的/lib目錄，發現里面有一些失效的鏈接，都是庫的特定版本命名。看來他們可能確實刪掉了一些庫。

這時強大的Shell工具就派上用場了。先用ls生成系統的/lib目錄內容以及LiveDVD的/lib目錄內容，然后用diff比對一下，就知道/lib缺少了哪些文件了。將它們逐個復制過去，大功告成，成功開機。

然而問題又來了：雖然Kernel不會panic了，但恢復得并不完整。由于這臺服務器經常有小白來管理，因此它裝了圖形界面，gdm+gnome2。剛開始進入系統時，gdm正常，但一log out出來，gdm就無法加載用戶列表了。CentOS的診斷系統報告只是缺少gvfs，不太可能造成這樣的問題。

再問馬宏菩學長，他提示我考慮看看日志。翻開日志，里面全是pluseaudio的報錯……好吧你作為一臺服務器有圖形界面已經夠bug了，居然還有pluseaudio……無視它，翻了越200行，終于看到一行特別的：dbus加載錯誤。問題找到，重裝dbus，一切恢復正常。

原本計劃這次維修用時在3天～5天，但僅僅用了一個中午就結束了。

這是我第一次遇到一臺弄到無法開機的Linux，給了我許多啟示。
1.會盡可能避免重裝，是一個系統管理員和街邊修電腦的人遇到故障時最大的差別。重裝是以破壞用戶數據和使用習慣為代價的，能避免一定要避免。而避免的方法就是認真分析發生的故障或問題。
2.遇到問題請看日志，日志能給你最重要的提示。
3.系統交給小白之前一定要對他們進行認真的培訓。