摘要：導(dǎo)語(yǔ)鹿晗關(guān)曉彤公布戀情，造成微博服務(wù)短暫不可用。業(yè)務(wù)運(yùn)維團(tuán)隊(duì)負(fù)責(zé)業(yè)務(wù)的整體運(yùn)維，包括業(yè)務(wù)規(guī)劃架構(gòu)部署容災(zāi)演練節(jié)假日保障等整體協(xié)作性工作。

作者：李雄政，10年+ 證券、電信、互聯(lián)網(wǎng)領(lǐng)域開(kāi)發(fā)、系統(tǒng)集成、運(yùn)維經(jīng)驗(yàn)。 現(xiàn)任騰訊高級(jí)工程師，負(fù)責(zé)社交平臺(tái)業(yè)務(wù)運(yùn)維組管理工作。
導(dǎo)語(yǔ)：鹿晗關(guān)曉彤公布戀情，造成微博服務(wù)短暫不可用。相關(guān)的運(yùn)維們也不得不提前結(jié)束國(guó)慶假期，執(zhí)行各種緊急擴(kuò)容預(yù)案。 而騰訊SNG社交平臺(tái)運(yùn)維團(tuán)隊(duì)歷經(jīng)數(shù)次億級(jí)熱點(diǎn)活動(dòng)，如“春節(jié)紅包” “ 軍裝照P圖”，他們又是如何應(yīng)對(duì)每次的服務(wù)保障呢？

又是一年國(guó)慶，10月8日12點(diǎn)，鹿晗在微博公布與關(guān)曉彤戀情，截至當(dāng)日14:50, 該微博共收獲462,884次轉(zhuǎn)發(fā)、986,409條評(píng)論，2,566,617個(gè)點(diǎn)贊。造成微博服務(wù)短暫不可用。作為運(yùn)維同行，對(duì)此深表同情和理解。

那么，面對(duì)這種突如其來(lái)的花式秀恩愛(ài)熱點(diǎn)，作為運(yùn)維的我們，該如何提前預(yù)防呢？騰訊的業(yè)務(wù)運(yùn)維團(tuán)隊(duì)通常會(huì)從業(yè)務(wù)準(zhǔn)備，容量評(píng)估，資源準(zhǔn)備，擴(kuò)容與壓測(cè)四個(gè)階段著手，配合熱點(diǎn)應(yīng)急機(jī)制，提前一個(gè)月進(jìn)行節(jié)日保障準(zhǔn)備。當(dāng)然，還有對(duì)于海量業(yè)務(wù)的穩(wěn)固運(yùn)營(yíng)至關(guān)重要的成熟的運(yùn)維體系。這一切互相配合，最大化地保障節(jié)假日的運(yùn)維工作有條不紊。

由于社交平臺(tái)部產(chǎn)品眾多，包含空間、微云、相冊(cè)、P圖等，業(yè)務(wù)運(yùn)維團(tuán)隊(duì)一般會(huì)提前一個(gè)月進(jìn)行節(jié)日準(zhǔn)備，一般會(huì)包含以下幾個(gè)階段：

指標(biāo)搜集
由業(yè)務(wù)運(yùn)維團(tuán)隊(duì)牽頭對(duì)產(chǎn)品進(jìn)行梳理，由產(chǎn)品團(tuán)隊(duì)提供產(chǎn)品技術(shù)指標(biāo)，如某功能上漲多少的業(yè)務(wù)量。這些業(yè)務(wù)產(chǎn)品團(tuán)隊(duì)的輸入作為擴(kuò)容需求的原始輸入。

柔性準(zhǔn)備
柔性是以應(yīng)對(duì)大量業(yè)務(wù)量沖擊時(shí)，以降低業(yè)務(wù)體驗(yàn)為代價(jià)而實(shí)施的一系列運(yùn)維策略，如在業(yè)務(wù)高峰期降低客戶端拉取后端數(shù)據(jù)的頻率，從而減少對(duì)后端的沖擊。

業(yè)務(wù)運(yùn)維與相關(guān)開(kāi)發(fā)進(jìn)行業(yè)務(wù)指標(biāo) 與業(yè)務(wù)模塊對(duì)應(yīng)關(guān)系適配，進(jìn)一步評(píng)估設(shè)備量，通常評(píng)估模塊設(shè)備量有以下幾種辦法：

反向評(píng)估： 結(jié)合業(yè)務(wù)上漲量倍數(shù)與當(dāng)前單負(fù)載，計(jì)算出擴(kuò)容的設(shè)備數(shù)量
公式為:擴(kuò)容設(shè)備量 = （業(yè)務(wù)上漲倍數(shù)當(dāng)前單機(jī)負(fù)載設(shè)備數(shù)量）/ 目標(biāo)負(fù)載 – 當(dāng)前設(shè)備量。
例如： 當(dāng)前模塊有10臺(tái)設(shè)備，單機(jī)負(fù)載40%，目標(biāo)負(fù)載80%， 業(yè)務(wù)量需要上漲3倍，需要擴(kuò)容的設(shè)備量為： (340%10)/80% - 10 = 5臺(tái)。

正向評(píng)估：需要有明確的高峰期交易量和單機(jī)承載指標(biāo)。
公式為:擴(kuò)容設(shè)備量 = (高峰期交易量 / 單機(jī)負(fù)載) – 當(dāng)前設(shè)備量。
例如： 業(yè)務(wù)高峰期交易量為 8萬(wàn)/秒，單機(jī)最承載5千/秒，當(dāng)前模塊10 臺(tái)設(shè)備，需要擴(kuò)容的設(shè)備量為： 80000/5000 - 10 = 6臺(tái)。

隨著經(jīng)驗(yàn)不斷完善，自動(dòng)容量評(píng)估工具也在不斷建設(shè)與完善中。

評(píng)估的設(shè)備量提交資源團(tuán)隊(duì)進(jìn)行準(zhǔn)備。一般設(shè)備量不大的情況下會(huì)利用存量資源滿足，反之則需要提前進(jìn)行采購(gòu)備貨。

織云設(shè)備供給平臺(tái)依托強(qiáng)力的織云IaaS接口對(duì)業(yè)務(wù)設(shè)備進(jìn)行分配，上層業(yè)務(wù)只需選擇對(duì)應(yīng)地域、機(jī)房、機(jī)型，即可提供kvm，實(shí)體機(jī)，docker機(jī)型。分配過(guò)程對(duì)業(yè)務(wù)透明。

如前文所述，模塊非常規(guī)范的情況下，織云能對(duì)其進(jìn)行半自動(dòng)/全自動(dòng)擴(kuò)縮容。擴(kuò)容后進(jìn)行壓測(cè)，進(jìn)一步確認(rèn)是否能達(dá)到業(yè)務(wù)上漲的需求。

業(yè)務(wù)壓測(cè)
通常業(yè)務(wù)多地SET化部署，每地各有一條讀訪問(wèn)鏈，我們可以通過(guò)前端調(diào)度，將業(yè)務(wù)調(diào)度到單地SET，以評(píng)估單地SET的支撐能力。

單機(jī)壓測(cè)
通過(guò)名字服務(wù)，將流量逐步調(diào)度到某一臺(tái)機(jī)器，測(cè)量單機(jī)的業(yè)務(wù)支撐能力。從而推導(dǎo)模塊設(shè)備能否支撐業(yè)務(wù)量。

擴(kuò)容完成后，如果仍然存在短板，則重新補(bǔ)齊后進(jìn)行壓測(cè)。對(duì)于不可預(yù)見(jiàn)的突發(fā)熱點(diǎn)，又該如何來(lái)保障業(yè)務(wù)呢？下面給大家介紹下突發(fā)熱點(diǎn)容量管控機(jī)制。

節(jié)假日難免會(huì)有一些突發(fā)的事件產(chǎn)生，如前所述，基于織云標(biāo)準(zhǔn)，我們的模塊非常容易伸縮，可借助織云托管功能進(jìn)行服務(wù)托管，模塊出現(xiàn)容量緊缺時(shí)，提前進(jìn)行自動(dòng)擴(kuò)容干預(yù)。如果由于資源等問(wèn)題，自動(dòng)擴(kuò)容無(wú)法解決問(wèn)題，可由運(yùn)維啟動(dòng)柔性機(jī)制，保障業(yè)務(wù)可用。

節(jié)假日的運(yùn)維準(zhǔn)備工作，以上并不是全部，這背后還需要成熟的運(yùn)維體系來(lái)支撐。

一個(gè)成熟的運(yùn)維體系通常包括三個(gè)部分：人員組織、工具體系和技術(shù)規(guī)范。三者隨著業(yè)務(wù)的擴(kuò)張而日益成熟。從組織上保障人員技能專業(yè)度與服務(wù)質(zhì)量成熟度，良好的規(guī)范約束為組織協(xié)同、工具自動(dòng)化提供了基礎(chǔ)；工具解放生產(chǎn)力，提升運(yùn)維效率，使人員成長(zhǎng)更為專業(yè)。

組織架構(gòu)在隨著業(yè)務(wù)形態(tài)在不斷地演變，一般來(lái)說(shuō)，互聯(lián)網(wǎng)公司的組織架構(gòu)演變會(huì)經(jīng)歷過(guò)幾個(gè)轉(zhuǎn)變期：

1）小團(tuán)隊(duì)混合期
一般在組織相對(duì)較小的時(shí)候，開(kāi)發(fā)人員即運(yùn)維人員。此階段一般出現(xiàn)在10人以下的團(tuán)隊(duì)，但由于開(kāi)發(fā)要兼做運(yùn)維工作， 隨著人員、業(yè)務(wù)的增長(zhǎng)，容易造成組織混亂、團(tuán)隊(duì)效率、故障風(fēng)險(xiǎn)不可控等問(wèn)題。

2）DO分離初期
此階段運(yùn)維開(kāi)始從開(kāi)發(fā)中分離出來(lái)，負(fù)責(zé)所有運(yùn)維工作，如設(shè)備資源、環(huán)境、運(yùn)維工具體系建設(shè)等。團(tuán)隊(duì)趨于扁平，但人員分工相對(duì)不明確。既管理機(jī)房、資源，又要管理運(yùn)維工具、解決現(xiàn)網(wǎng)業(yè)務(wù)問(wèn)題。隨著業(yè)務(wù)的復(fù)雜性進(jìn)一步增大，伴隨人員流動(dòng)性等問(wèn)題，團(tuán)隊(duì)難以應(yīng)對(duì)技術(shù)多樣化場(chǎng)景，容易因?yàn)榧夹g(shù)框架不統(tǒng)一而導(dǎo)致運(yùn)維效率低下、組織運(yùn)作混亂。從而對(duì)團(tuán)隊(duì)分工演進(jìn)提出了更深的要求。

3）運(yùn)維團(tuán)隊(duì)模塊化、職業(yè)化
運(yùn)維團(tuán)隊(duì)到了一定的規(guī)模后，運(yùn)維設(shè)備數(shù)量達(dá)到數(shù)以萬(wàn)計(jì)或十萬(wàn)計(jì)，整體架構(gòu)會(huì)分散自治，運(yùn)維團(tuán)隊(duì)的分工因此需要更加細(xì)致明確。

團(tuán)隊(duì)分工沒(méi)有標(biāo)準(zhǔn)或準(zhǔn)則，典型的分工可能是這樣的：

資源職能團(tuán)隊(duì) - 負(fù)責(zé)設(shè)備資源采購(gòu)、機(jī)房管理（或云上資源管理）、 操作系統(tǒng)層及以下的管理，跨部門(mén)運(yùn)作以保障資源的調(diào)度及供應(yīng)能力。

組件運(yùn)維團(tuán)隊(duì) – 負(fù)責(zé)各自的組件運(yùn)維， 一般根據(jù)人員技能要求、組件響應(yīng)SLA要求，可以劃分成有狀態(tài)(stateful)組件團(tuán)隊(duì)和無(wú)狀態(tài)(stateless)組件團(tuán)隊(duì)。

因?yàn)?strong>無(wú)狀態(tài)組件是水平可伸縮的，短暫?jiǎn)螜C(jī)故障并不會(huì)引起服務(wù)不可用，所以對(duì)業(yè)務(wù)服務(wù)SLA要求較低。該團(tuán)隊(duì)負(fù)責(zé)整個(gè)無(wú)狀態(tài)服務(wù)框架及基于其承載的服務(wù)的運(yùn)維工作。而由于有狀態(tài)服務(wù)保存了業(yè)務(wù)數(shù)據(jù)，一般會(huì)對(duì)業(yè)務(wù)服務(wù)SLA要求較高，在單機(jī)故障時(shí)甚至需要運(yùn)維及時(shí)介入檢查或操作。

當(dāng)然隨著大型業(yè)務(wù)架構(gòu)演進(jìn)，自動(dòng)化的增強(qiáng)，存儲(chǔ)層實(shí)現(xiàn)故障自愈，我們的業(yè)務(wù)也實(shí)現(xiàn)多地部署，整體業(yè)務(wù)或模塊粒度可進(jìn)行多地切換容災(zāi)。內(nèi)存型業(yè)務(wù)的服務(wù)SLA也可以相對(duì)放松，在這里先不細(xì)述。

業(yè)務(wù)運(yùn)維團(tuán)隊(duì) – 負(fù)責(zé)業(yè)務(wù)的整體運(yùn)維，包括業(yè)務(wù)規(guī)劃、架構(gòu)部署、容災(zāi)演練、節(jié)假日保障等整體協(xié)作性工作。

比如業(yè)務(wù)的多地容災(zāi)部署架構(gòu)，需要業(yè)務(wù)運(yùn)維團(tuán)隊(duì)來(lái)牽頭實(shí)施，以項(xiàng)目實(shí)施管理的形式將整個(gè)項(xiàng)目進(jìn)行推進(jìn)，以達(dá)到最終保障業(yè)務(wù)高可用的目的。

如上圖所示，以上團(tuán)隊(duì)職責(zé)相對(duì)比較明確，運(yùn)維工具的開(kāi)發(fā)與健全貫穿在整個(gè)運(yùn)維工作中，并逐步形成工具體系。

龐大的業(yè)務(wù)體系運(yùn)作，運(yùn)維團(tuán)隊(duì)不可能隨著業(yè)務(wù)的急劇增長(zhǎng)而擴(kuò)張，從而需要有一系列的規(guī)范來(lái)保證業(yè)務(wù)運(yùn)維的有序運(yùn)作。

傳統(tǒng)行業(yè)的運(yùn)維規(guī)范相對(duì)較為嚴(yán)格，包含以下內(nèi)容：

運(yùn)維操作SOP – 嚴(yán)格約定操作的步驟、甚至細(xì)化到命令操作等。

流程 – 一般指變更、故障處理的審批、確認(rèn)流程，比較常見(jiàn)的規(guī)范有ITIL等。

SLA/OLA協(xié)議 – 流程中Milestone點(diǎn)之間的時(shí)長(zhǎng)或整體時(shí)長(zhǎng)限制。因故障/變更等級(jí)不同而可能有所差異。

其他運(yùn)維規(guī)范

而在互聯(lián)網(wǎng)行業(yè)，過(guò)于僵硬的規(guī)范不易于滿足快速迭代的業(yè)務(wù)需求，所以平時(shí)更需要關(guān)注現(xiàn)網(wǎng)運(yùn)行規(guī)范，如織云體系中的幾個(gè)常見(jiàn)規(guī)范：

1） 設(shè)備模塊化、SET化管理理念
依據(jù)微服務(wù)的差異，將設(shè)備劃分到不同的模塊，多個(gè)模塊可組成一個(gè)SET。這是織云管理設(shè)備的理念。

SET化后，一方面可以將模塊間訪問(wèn)盡量限制在單地，防止跨城流量穿越而帶來(lái)額外的流量開(kāi)銷(xiāo)，另一方面可以實(shí)現(xiàn)跨地域容災(zāi)，保障業(yè)務(wù)高可用。

2） 統(tǒng)一的包管理規(guī)范
統(tǒng)一的包安裝、卸載、啟停腳本名稱，統(tǒng)一的配置文件管理（版本管理、創(chuàng)建、發(fā)放等）機(jī)制，以便上層管理系統(tǒng)能夠統(tǒng)一對(duì)其進(jìn)行管理。

3） 名字服務(wù)接入
業(yè)務(wù)間調(diào)用時(shí)，所有被調(diào)方IP對(duì)業(yè)務(wù)透明，只需要知道名字服務(wù)ID，而對(duì)被調(diào)方擴(kuò)縮容時(shí)只需要通過(guò)名字服務(wù)管理系統(tǒng)管理名字服務(wù)后端的IP即可。杜絕IP寫(xiě)死在代碼中或?qū)懰涝谂渲梦募械默F(xiàn)象。

4） 程序開(kāi)發(fā)規(guī)范
這里的開(kāi)發(fā)規(guī)范不是指代碼規(guī)范，而是指通過(guò)一定時(shí)間的積累，形成的程序邏輯規(guī)范，以典型的無(wú)狀態(tài)組件為例，我們從程序邏輯中剝離出來(lái)一套框架，框架上實(shí)現(xiàn)微線程處理、網(wǎng)絡(luò)通信、監(jiān)控等功能，而開(kāi)發(fā)人員只需要根據(jù)業(yè)務(wù)邏輯開(kāi)發(fā) so 進(jìn)行掛接即可。

從而需要有一整套機(jī)制來(lái)規(guī)范，運(yùn)維工具體系對(duì)規(guī)范進(jìn)行支撐，總的來(lái)說(shuō)，運(yùn)維工具體系可以分為以下幾個(gè)方面：支撐平臺(tái)、監(jiān)控、管理體系，我們統(tǒng)稱為織云體系。

所有自動(dòng)化工作開(kāi)展的基石，運(yùn)維體系中不可缺少的部分，包含但不限于以下組件：
CMDB配置管理平臺(tái)，管理設(shè)備信息與模塊屬性、人員與被管設(shè)備/模塊間運(yùn)維關(guān)系，基本配置信息等。
自動(dòng)化命令通道等，提供底層API在大批服務(wù)器上執(zhí)行命令。
基礎(chǔ)設(shè)施監(jiān)控平臺(tái)，如：基礎(chǔ)設(shè)施運(yùn)營(yíng)事件發(fā)布、機(jī)房設(shè)施、服務(wù)器性能、故障監(jiān)控系統(tǒng)等。

主動(dòng)監(jiān)控：一般采用從組件框架或業(yè)務(wù)代碼埋點(diǎn)，或采用部署探針形式，上報(bào)業(yè)務(wù)數(shù)據(jù)到監(jiān)控系統(tǒng)，監(jiān)控系統(tǒng)進(jìn)行集中監(jiān)控。如：業(yè)務(wù)模塊間調(diào)用監(jiān)控、終端APM監(jiān)控、手機(jī)命令字監(jiān)控等。
被動(dòng)監(jiān)控：比較典型的是撥測(cè)系統(tǒng)，從內(nèi)外網(wǎng)模擬客戶端訪問(wèn)業(yè)務(wù)，對(duì)業(yè)務(wù)進(jìn)行速度或成功率等測(cè)試，測(cè)試數(shù)據(jù)集中上報(bào)表監(jiān)控系統(tǒng)，集中進(jìn)行處理和監(jiān)控。
旁路監(jiān)控：在不接觸業(yè)務(wù)本身的情況下對(duì)業(yè)務(wù)進(jìn)行監(jiān)控，比較典型的是輿情監(jiān)控，對(duì)外網(wǎng)的輿情進(jìn)行搜集，進(jìn)行統(tǒng)一監(jiān)控。

一切監(jiān)控的基礎(chǔ)是數(shù)據(jù)，但細(xì)粒度數(shù)據(jù)顯然不可能直接讓運(yùn)維人員使用，基于以上數(shù)據(jù)產(chǎn)生的織云監(jiān)控體系產(chǎn)品如： 多維監(jiān)控、日志監(jiān)控、全鏈路監(jiān)控系統(tǒng)，都是一些非常重要的監(jiān)控產(chǎn)品。

支撐運(yùn)維標(biāo)準(zhǔn)能?chē)?yán)格執(zhí)行的是一個(gè)成熟的管理體系，這個(gè)體系包括以下組成部分。

a) 標(biāo)準(zhǔn)化：
模塊管理： 功能粒度上對(duì)服務(wù)器打散，形成許多獨(dú)立的模塊，每一個(gè)模塊有自己的自治體系。
包管理，配置管理：規(guī)范開(kāi)發(fā)人員按照標(biāo)準(zhǔn)來(lái)進(jìn)行開(kāi)發(fā)業(yè)務(wù)包。統(tǒng)一的包安裝、卸載、啟停、方法。集中式配置文件管理方法等。
標(biāo)準(zhǔn)化組件管控 - 名字服務(wù)、容錯(cuò)體系、存儲(chǔ)層（內(nèi)存型、TSSD、硬盤(pán)）等基礎(chǔ)服務(wù)的管控工具。

b) 容量管理：
一系列的容量評(píng)估體系，支撐運(yùn)維人員快速評(píng)估容量。為資源規(guī)劃提供支撐，合理保障活動(dòng)資源。
高低負(fù)載管理，擴(kuò)縮容、單機(jī)負(fù)載權(quán)重調(diào)整、調(diào)度等。

c) 其他支撐工具：
為業(yè)務(wù)場(chǎng)景設(shè)計(jì)的工具, 如：運(yùn)營(yíng)事件管理、機(jī)房裁撤、智能調(diào)度、等工具。

海量業(yè)務(wù)穩(wěn)定運(yùn)營(yíng)的背后，一定有一套成熟的運(yùn)維體系，需要從組織、規(guī)范、工具上進(jìn)行不斷演進(jìn)、持續(xù)積累，才能在節(jié)（sa）假 (gou）日（liang）準(zhǔn)備時(shí)有條不紊，做到有備而戰(zhàn)，從而做到“高效運(yùn)維”。

歡迎關(guān)注【騰訊織云】公眾號(hào)，獲取最新技術(shù)資訊。

在本文的運(yùn)維體系下，騰訊SNG社交平臺(tái)運(yùn)維團(tuán)隊(duì)又是運(yùn)用了何種技術(shù)來(lái)保障節(jié)假日服務(wù)的？ 點(diǎn)擊下文閱讀。↓↓↓

8億人曬軍裝，背后的運(yùn)維技術(shù)大揭密！