摘要：原文出自聽(tīng)云技術(shù)博客斷斷續(xù)續(xù)寫了將近一個(gè)月，聽(tīng)云第一版數(shù)據(jù)庫(kù)管理平臺(tái)終于寫完了，期間來(lái)來(lái)回回的改了好多次小毛病，現(xiàn)在已經(jīng)部署到生產(chǎn)環(huán)境上去了。主機(jī)管理這里主要是主機(jī)列表管理和業(yè)務(wù)組列表管理。

原文出自【聽(tīng)云技術(shù)博客】：http://blog.tingyun.com/web/article/detail/600

斷斷續(xù)續(xù)寫了將近一個(gè)月，聽(tīng)云第一版數(shù)據(jù)庫(kù)管理平臺(tái)終于寫完了，期間來(lái)來(lái)回回的改了好多次小毛病，現(xiàn)在已經(jīng)部署到生產(chǎn)環(huán)境上去了。

在剛開(kāi)始的時(shí)候，后端的數(shù)據(jù)庫(kù)集群只有10多個(gè)節(jié)點(diǎn)組，日常的巡檢工作并不會(huì)花費(fèi)太多的時(shí)間和精力。隨著業(yè)務(wù)的增長(zhǎng)，在較短時(shí)間內(nèi)后端集群擴(kuò)展到數(shù)百節(jié)點(diǎn)時(shí)，這時(shí)的日常巡檢如果還是人肉完成，講道理，最終可能就是不做巡檢或者是緣分巡檢，哪天想起來(lái)了搞一下。顯然這不是我們的風(fēng)格。那么如何解放我們花在巡檢上的時(shí)間和精力，我們決定寫一個(gè)工具來(lái)幫我們完成巡檢工作，我們要做的就是登陸上這個(gè)系統(tǒng)，look and check。

在這個(gè)版本中實(shí)現(xiàn)的功能并不是很多，大都是針對(duì)目前工作中的痛點(diǎn)來(lái)開(kāi)發(fā)的，架構(gòu)也很簡(jiǎn)單，分為報(bào)表和數(shù)據(jù)收集兩個(gè)部分，數(shù)據(jù)收集程序主要從兩個(gè)地方收集數(shù)據(jù)，一個(gè)是線上的數(shù)據(jù)庫(kù)中收集一些指標(biāo)數(shù)據(jù)，一個(gè)是調(diào)用云廠商的api取DB的容量信息。

該系統(tǒng)的開(kāi)發(fā)語(yǔ)言是golang，netop是我們部門的簡(jiǎn)稱，所以索性就叫NetopGO。前端頁(yè)面是改的jumpserver的頁(yè)面，數(shù)據(jù)搬運(yùn)工真心寫不動(dòng)前端。

Web開(kāi)發(fā)框架使用的beego。講道理，jumpserver的前端模版真的是一款很優(yōu)秀易上手的模版，beego就更不用說(shuō)了，powerful、beautiful and amazing！直接上圖，標(biāo)清有碼，嘿嘿嘿。

1、儀表盤

這里主要是一些數(shù)據(jù)概覽，各種總量、截至到當(dāng)前的本月數(shù)據(jù)量變化趨勢(shì)。每個(gè)業(yè)務(wù)庫(kù)本月的數(shù)據(jù)容量變化情況，還有前一天慢查詢數(shù)量排名top12。儀表盤上提供快速跳轉(zhuǎn)的鏈接，只需要點(diǎn)擊相關(guān)的數(shù)字即可。比如點(diǎn)擊DB總數(shù)，就會(huì)跳轉(zhuǎn)到DB列表的頁(yè)面。

2、用戶權(quán)限

劃分三種權(quán)限：admin、dba和guest。如果當(dāng)前用戶的權(quán)限不足，訪問(wèn)受限頁(yè)面會(huì)提示沒(méi)有權(quán)限或頁(yè)面上的部分按鈕不可用。

3、主機(jī)管理

這里主要是主機(jī)列表管理和業(yè)務(wù)組列表管理。主機(jī)列表依賴業(yè)務(wù)組列表。這部分對(duì)來(lái)賓和數(shù)據(jù)庫(kù)管理員是有權(quán)限控制的，比如這個(gè)guest用戶登錄上來(lái)之后查看主機(jī)列表只有readonly用戶的遠(yuǎn)程登錄可用，其他功能受限，點(diǎn)擊遠(yuǎn)程登陸會(huì)彈出一個(gè)webshell，如下圖：

4、DB管理

DB管理是這個(gè)版本的重心，首先看DB列表

這里有所有線上的實(shí)例，并且每個(gè)實(shí)例都有圖表和慢sql的入口鏈接，點(diǎn)擊圖表，會(huì)跳轉(zhuǎn)到圖表的頁(yè)面:

圖表目前只有數(shù)據(jù)量（每天統(tǒng)計(jì)）、QPS&TPS（每10分鐘統(tǒng)計(jì)）和慢查詢個(gè)數(shù)（每天統(tǒng)計(jì)）的變化曲線。監(jiān)控不是這個(gè)系統(tǒng)的重點(diǎn)，目前基本上所有的生產(chǎn)環(huán)境監(jiān)控都是另外一個(gè)平臺(tái)再支撐。我希望系統(tǒng)能夠?yàn)槲艺故舅袑?shí)例的數(shù)據(jù)量變化趨勢(shì)、qps&tps情況，當(dāng)然最重要的是慢查詢的詳細(xì)情況。如果在列表中點(diǎn)擊慢查詢，就會(huì)跳轉(zhuǎn)到慢查詢列表頁(yè)面，如下圖：

這個(gè)頁(yè)面中會(huì)對(duì)慢sql做簡(jiǎn)單的匯總和統(tǒng)計(jì)，同時(shí)提供查看sql和具體執(zhí)行計(jì)劃的功能，比如點(diǎn)擊查看執(zhí)行計(jì)劃，就會(huì)向生產(chǎn)環(huán)境的數(shù)據(jù)庫(kù)做一個(gè)即時(shí)的執(zhí)行計(jì)劃分析并返回結(jié)果，這樣抓到慢sql就不用打開(kāi)黑窗口(xshell)登陸到后端數(shù)據(jù)庫(kù)上去看執(zhí)行計(jì)劃，直接在前端頁(yè)面就能查看。如下

Schema列表，這個(gè)頁(yè)面同樣有比較大的信息量，包含了所有業(yè)務(wù)庫(kù)的列表，這個(gè)列表主要是給數(shù)據(jù)查詢窗口使用的，動(dòng)態(tài)的增刪schema列表，就相當(dāng)于動(dòng)態(tài)的增刪數(shù)據(jù)源。同時(shí)展現(xiàn)了每個(gè)業(yè)務(wù)庫(kù)當(dāng)前的數(shù)據(jù)容量大小，非常直觀。

由于我們后端的數(shù)據(jù)庫(kù)使用了分區(qū)表，分區(qū)是由存儲(chǔ)過(guò)程自動(dòng)維護(hù)的，所以我們對(duì)每個(gè)業(yè)務(wù)庫(kù)后端的分區(qū)增刪狀態(tài)在這里做了展現(xiàn)，點(diǎn)擊分鐘按鈕就會(huì)跳轉(zhuǎn)到分區(qū)監(jiān)控列表頁(yè)面，能夠清晰的看到哪些節(jié)點(diǎn)的添加分區(qū)沒(méi)有成功，如果添加失敗，就會(huì)顯示紅色的Failed字樣。小時(shí)和天表也是一樣的。

平常的工作中會(huì)有很多數(shù)據(jù)查詢的場(chǎng)景，研發(fā)和測(cè)試的同事那么多，如果所有的請(qǐng)求都對(duì)準(zhǔn)dba一個(gè)人的話，也是一個(gè)頭疼的問(wèn)題，所以在NetopGO中開(kāi)了一個(gè)查詢的窗口，實(shí)現(xiàn)了權(quán)限劃分、查詢sql審計(jì)記錄和自動(dòng)后端識(shí)別的功能。動(dòng)態(tài)增刪數(shù)據(jù)源，Schema列表中添加一個(gè)數(shù)據(jù)源，在查詢窗口里可以立即顯示并進(jìn)行查詢。如果后端允許的話，dba可以做任何操作，比如 insert操作，如下

如果后端是代理的話，即便是dba角色也只能支持查詢，如下

如果是來(lái)賓帳號(hào)，所有的數(shù)據(jù)庫(kù)都只能是查詢權(quán)限，如下

如果查詢成功，會(huì)跳轉(zhuǎn)到結(jié)果頁(yè)面，如果列很多，超出了表格的寬度，下方是會(huì)有滾動(dòng)條出現(xiàn)的。如下

目前，出于信息安全的考慮，并沒(méi)有支持?jǐn)?shù)據(jù)導(dǎo)出功能，不過(guò)正在考慮給dba視角添加一個(gè)結(jié)果導(dǎo)出功能。

在數(shù)據(jù)查詢窗口中執(zhí)行的sql，無(wú)論是否成功，都會(huì)被記錄到審計(jì)日志里面，查看審計(jì)日志可以訪問(wèn)審計(jì)日志頁(yè)面，如下：

列表中會(huì)展示每條sql的執(zhí)行用戶、schema、狀態(tài)和具體執(zhí)行的sql。其他同事正在查詢的時(shí)候你就看這個(gè)列表，十分有快感。

5、升級(jí)記錄功能

升級(jí)記錄功能并沒(méi)有引入工作流，所以只是一個(gè)簡(jiǎn)單的記錄，目前實(shí)現(xiàn)了應(yīng)用升級(jí)記錄、數(shù)據(jù)庫(kù)升級(jí)記錄和故障記錄的功能，但是大家都希望不要手工錄入，最好是提流程系統(tǒng)自己記錄。這個(gè)從目前的環(huán)境來(lái)看，可能難以實(shí)現(xiàn)。

不過(guò)從我自己的體驗(yàn)來(lái)說(shuō)，這種記錄方式相比之前已經(jīng)有很大改善。以數(shù)據(jù)庫(kù)升級(jí)記錄為例，以前的升級(jí)記錄是放在一個(gè)nfs共享目錄下的一個(gè)excel表中，目錄比較深，跟sql文件的存檔目錄不在一個(gè)目錄下，每次記錄需要翻兩次n級(jí)的目錄，而且如果要找之前的一個(gè)升級(jí)sql，也不太好找，因?yàn)槲募容^多，所以DB升級(jí)記錄功能是這樣的

在記錄升級(jí)記錄的時(shí)候直接把sql文件上傳到服務(wù)器端的目錄，然后列表中提供查看附件的入口，如下

點(diǎn)擊詳細(xì)內(nèi)容，會(huì)跳轉(zhuǎn)到如下頁(yè)面

點(diǎn)擊附件，如果是在Chrome瀏覽器上，會(huì)直接在一個(gè)新的窗口中顯示出文本內(nèi)容，如果是其他瀏覽器，會(huì)直接下載這個(gè)文件。附件直接在瀏覽器上訪問(wèn)真的很方便。Chrome下點(diǎn)擊附件

這個(gè)版本實(shí)現(xiàn)的功能基本上就這些了，接下來(lái)打算在查詢窗口的頁(yè)面中支持對(duì)后端中間代理下的集群做DDL和DML的變更，中間件本身是沒(méi)有辦法支持這些的，所以我們實(shí)現(xiàn)的思路就是在查詢窗口中選定schema之后，sql會(huì)被提交到代理后端所有的分片上去執(zhí)行，并最終返回執(zhí)行狀態(tài)，從而達(dá)到驗(yàn)證的目的。目前我們是使用的腳本來(lái)完成，有點(diǎn)low。這個(gè)版本已經(jīng)做了相當(dāng)多的準(zhǔn)備工作，所以實(shí)現(xiàn)這個(gè)功能并不會(huì)很難。目前來(lái)看NetopGO綁定了太多我們自己的業(yè)務(wù)場(chǎng)景，后續(xù)如果功能完善之后，會(huì)在通用性上下點(diǎn)功夫，做一個(gè)開(kāi)源的版本出來(lái)。