摘要：本篇文章將會(huì)結(jié)合網(wǎng)易云信的實(shí)踐經(jīng)驗(yàn)，以全局概述的方式帶大家認(rèn)識(shí)點(diǎn)播私有化平臺(tái)構(gòu)建的整體架構(gòu)面貌。基于構(gòu)建點(diǎn)播私有云平臺(tái)在具有以上優(yōu)勢(shì)的同時(shí)，還具備資源彈性管理監(jiān)控完善部署簡(jiǎn)易自動(dòng)化維護(hù)等特性。基于構(gòu)建平臺(tái)，能夠自由管理創(chuàng)建云主機(jī)。

私有云是為一個(gè)客戶多帶帶使用而構(gòu)建的，因而提供對(duì)數(shù)據(jù)、安全性和服務(wù)質(zhì)量的最有效控制。前置條件是客戶擁有基礎(chǔ)設(shè)施，并可以使用基礎(chǔ)設(shè)施在其上部署應(yīng)用程序。其核心屬性是專有的資源。本篇文章將會(huì)結(jié)合網(wǎng)易云信的實(shí)踐經(jīng)驗(yàn)，以全局概述的方式帶大家認(rèn)識(shí)點(diǎn)播私有化平臺(tái)構(gòu)建的整體架構(gòu)面貌。

推薦閱讀
《幾十萬(wàn)人同時(shí)在線的直播間聊天，如何設(shè)計(jì)服務(wù)端架構(gòu)？》
《高并發(fā)IM系統(tǒng)架構(gòu)優(yōu)化實(shí)踐》

云計(jì)算的出現(xiàn)，通過(guò)硬件的虛擬化將大量的服務(wù)器硬件抽象為巨大的資源池，可以動(dòng)態(tài)的為用戶提供基礎(chǔ)設(shè)施、平臺(tái)和應(yīng)用三種形式的服務(wù)。目前企業(yè)的使用方式有公有云和私有云。公有云下，企業(yè)可以拋棄復(fù)雜的基礎(chǔ)設(shè)施構(gòu)建和維護(hù)，按需購(gòu)買(mǎi)計(jì)算資源和應(yīng)用服務(wù)。但是考慮到一些數(shù)據(jù)的敏感性和網(wǎng)絡(luò)互連互通問(wèn)題的限制，企業(yè)將自己最核心的業(yè)務(wù)完全托管至公有云有很大顧慮。因此，基于業(yè)務(wù)上的可靠性、安全性、可控性，很多企業(yè)選擇建設(shè)私有云。
私有云是為一個(gè)客戶多帶帶使用而構(gòu)建，因而提供對(duì)數(shù)據(jù)、安全性和服務(wù)質(zhì)量的有效控制。前置條件是客戶擁有基礎(chǔ)設(shè)施，并可以使用基礎(chǔ)設(shè)施在其上部署應(yīng)用程序。其核心屬性是專有的資源。

基礎(chǔ)服務(wù)包括：

緩存、數(shù)據(jù)庫(kù)、消息隊(duì)列等部署在PaaS層的服務(wù)，提供數(shù)據(jù)的存儲(chǔ)和訪問(wèn)。

容器管理基于Docker和Kubernetes管理點(diǎn)播服務(wù)各個(gè)組件的生命周期。

能力管理集群包括：

上傳服務(wù)集群，基于S3設(shè)備的分布于不同節(jié)點(diǎn)的斷點(diǎn)上傳。

流媒體服務(wù)集群，支持視頻的邊下邊播等播放特性。

轉(zhuǎn)碼集群，處理視頻轉(zhuǎn)碼的引擎。

通過(guò)提供基礎(chǔ)服務(wù)和能力管理集群構(gòu)建平臺(tái)服務(wù)，用戶只需要在此基礎(chǔ)上接入業(yè)務(wù)應(yīng)用，集成播放SDK和上傳SDK，即可快速構(gòu)建點(diǎn)播服務(wù)。

上圖闡述了點(diǎn)播私有化平臺(tái)的最小部署集群，其中控制集群包含通過(guò)基于 OpenStack 進(jìn)行的硬件資源虛擬化、Docker 和 Kubernetes 實(shí)現(xiàn)的容器服務(wù)管理、基于虛擬資源和容器的哨兵監(jiān)控以及賬號(hào)管理。計(jì)算集群包含點(diǎn)播服務(wù)組件的部署以及依賴的存儲(chǔ)、數(shù)據(jù)管理服務(wù)。

整個(gè)私有化平臺(tái)從底層向上構(gòu)建包括：硬件資源的虛擬化、數(shù)據(jù)存儲(chǔ)服務(wù)構(gòu)建、點(diǎn)播組件服務(wù)部署。

上圖闡述了將硬件資源虛擬化的分層抽象架構(gòu)：
IaaS：基于 OpenStack 的云計(jì)算基礎(chǔ)服務(wù)（包括云計(jì)算、云網(wǎng)絡(luò)和本地存儲(chǔ)）
將硬件資源虛擬化為云主機(jī)，支持云主機(jī)的管理操作（創(chuàng)建、啟動(dòng)、停止、重啟、刪除、快照、修改規(guī)格、離線遷移、修改云主機(jī)名稱等操作）、鏡像快照管理、安全組管理、網(wǎng)絡(luò)資源管理（通過(guò)管理內(nèi)網(wǎng) IP 和外網(wǎng) IP 浮動(dòng)池，使用獲取，銷(xiāo)毀釋放至IP池）、監(jiān)控報(bào)警（云主機(jī)的各項(xiàng)指標(biāo)監(jiān)控）。
Pass 服務(wù)：基于 IaaS 構(gòu)建的多租戶 PaaS 服務(wù)（包括存儲(chǔ)服務(wù)、數(shù)據(jù)庫(kù)）
Kubernetes：多租戶的集群編排的容器服務(wù)
Kubernetes服務(wù)為分布式應(yīng)用服務(wù)提供容器的創(chuàng)建、編排、調(diào)度、服務(wù)發(fā)現(xiàn)、彈性伸縮等功能。基于 Kubernetes 的特性同時(shí)融合基礎(chǔ)服務(wù)的負(fù)載均衡服務(wù)能夠保證服務(wù)的高可用、高可靠、彈性擴(kuò)容、不同級(jí)別的服務(wù)隔離。
管理服務(wù)：提供用戶管理和 API 操作相關(guān)服務(wù)
提供產(chǎn)品的開(kāi)發(fā)環(huán)境、測(cè)試環(huán)境、線上環(huán)境等生命周期的容器服務(wù)平臺(tái)。通過(guò) SOA 服務(wù)化系統(tǒng)的部署，支持靜態(tài)資源發(fā)布、后端服務(wù)的動(dòng)態(tài)擴(kuò)容發(fā)布、服務(wù)的自動(dòng)上下線等。

基于 MySQL 在計(jì)算節(jié)點(diǎn)上進(jìn)行主從部署，隔離網(wǎng)絡(luò)環(huán)境，提供私有網(wǎng)絡(luò)實(shí)例。所有實(shí)例都是高可用實(shí)例，即每個(gè)實(shí)例都有 master 和 slave 角色。slave 宕機(jī)時(shí)，不會(huì)對(duì)服務(wù)產(chǎn)生影響，master 發(fā)生宕機(jī)的情況，會(huì)切換至 slave 實(shí)例，同時(shí)服務(wù)管理會(huì)拉起 master 實(shí)例。從而提供穩(wěn)定可靠的數(shù)據(jù)庫(kù)服務(wù)，提供多重安全防護(hù)措施和專業(yè)的備份、恢復(fù)等功能。

基于 S3 設(shè)備，同時(shí)提供多節(jié)點(diǎn)的斷點(diǎn)上傳、以及圖片和視頻處理云信息獲取服務(wù)。提供高可用、支持?jǐn)帱c(diǎn)續(xù)傳，同時(shí)針對(duì)視頻文件特性，獲取視頻文件元信息的存儲(chǔ)特性。其中上傳服務(wù)和云信息獲取服務(wù)采用 Docker 鏡像部署，保證服務(wù)的管理自動(dòng)化。

所有點(diǎn)播組件的部署基于 Docker 鏡像，通過(guò)容器管理服務(wù)保證服務(wù)的高可用以及自動(dòng)化管理。組件圖如下所示：

Registry：服務(wù)注冊(cè)與發(fā)現(xiàn)的注冊(cè)中心。部署原生的zookeeper集群作為獨(dú)立的注冊(cè)中心，主要使用zookeeper提供的一致性同步協(xié)調(diào)能力和服務(wù)探活能力。zookeeper的部署采用Docker容器，利用容器的服務(wù)管理能力保障服務(wù)的穩(wěn)定、高可用。

Consumer：調(diào)用遠(yuǎn)程服務(wù)的服務(wù)消費(fèi)方。包含對(duì)外提供的API接口和為直播錄制視頻存儲(chǔ)開(kāi)放的接口。用戶通過(guò)接口進(jìn)行視頻上傳、轉(zhuǎn)碼和管理。消費(fèi)方服務(wù)部署采用Docker容器，利用容器的服務(wù)管理能力保障服務(wù)的穩(wěn)定、高可用。

Provider：調(diào)用遠(yuǎn)程服務(wù)的服務(wù)提供方。包含視頻處理服務(wù)、視頻檢測(cè)服務(wù)、錄制視頻處理服務(wù)、統(tǒng)計(jì)服務(wù)。提供方服務(wù)部署采用Docker容器，利用容器的服務(wù)管理能力保障服務(wù)的穩(wěn)定、高可用。

Monitor：統(tǒng)計(jì)服務(wù)的調(diào)用次數(shù)和調(diào)用時(shí)間的監(jiān)控中心。

服務(wù)提供者啟動(dòng)，向注冊(cè)中心注冊(cè)自己提供的服務(wù)。

服務(wù)消費(fèi)者啟動(dòng)，向注冊(cè)匯總新訂閱自己所需的服務(wù)。

注冊(cè)中心基于長(zhǎng)連接推送服務(wù)提供者列表給消費(fèi)者。

服務(wù)消費(fèi)者從列表中，基于一定的負(fù)載均衡算法，選一臺(tái)進(jìn)行調(diào)用，如果失敗，再選取另一臺(tái)調(diào)用。

服務(wù)消費(fèi)者和提供者，內(nèi)存中累計(jì)調(diào)用次數(shù)和時(shí)間，定時(shí)發(fā)送統(tǒng)計(jì)數(shù)據(jù)到監(jiān)控中心。

私有云相比較于公有云，在數(shù)據(jù)安全、充分利用現(xiàn)有硬件和軟件資源、服務(wù)質(zhì)量、管理流程上有突出優(yōu)勢(shì)。基于 Docker 構(gòu)建點(diǎn)播私有云平臺(tái)在具有以上優(yōu)勢(shì)的同時(shí)，還具備資源彈性管理、監(jiān)控完善、部署簡(jiǎn)易、自動(dòng)化維護(hù)等特性。
（1）數(shù)據(jù)安全。由于存儲(chǔ)服務(wù)部署于用戶的硬件環(huán)境，構(gòu)筑在防火墻之后，同時(shí)存儲(chǔ)服務(wù)的高可用，能夠保證用戶數(shù)據(jù)的可靠和安全。
（2）監(jiān)控完善。上述描述的哨兵系統(tǒng)介入整個(gè)點(diǎn)播私有化平臺(tái)的構(gòu)建過(guò)程，能夠及時(shí)上報(bào)各個(gè)過(guò)程中組件的異常情況。
（3）資源彈性管理。基于 Openstack 構(gòu)建 IaaS 平臺(tái)，能夠自由管理創(chuàng)建云主機(jī)。基于 Docker 和 Kubernetes 構(gòu)建容器管理服務(wù)，能夠基于服務(wù)鏡像自由創(chuàng)建服務(wù)，同時(shí)容器管理服務(wù)能夠做到彈性擴(kuò)容。
（4）部署簡(jiǎn)易、自動(dòng)化維護(hù)。在通過(guò)事先編排好的腳本構(gòu)建好基礎(chǔ) IaaS 平臺(tái)后，利用服務(wù)鏡像能夠快速部署服務(wù)。容器管理服務(wù)的服務(wù)發(fā)現(xiàn)能力使得服務(wù)的維護(hù)變得簡(jiǎn)單。

整體來(lái)說(shuō)，私有云由于其特性，在實(shí)施過(guò)程中，運(yùn)維成本遠(yuǎn)遠(yuǎn)高于開(kāi)發(fā)成本。所以，在面向用戶交付實(shí)施的過(guò)程必需簡(jiǎn)易，后續(xù)維護(hù)盡量做到自動(dòng)化。盡大可能減少人工介入。本文構(gòu)建過(guò)程中采用的架構(gòu)技術(shù)特點(diǎn)（Openstack、Docker、Kubernetes、zookeeper）比較符合這些特點(diǎn)。本文以全局概述的方式試圖帶大家認(rèn)識(shí)點(diǎn)播私有化平臺(tái)構(gòu)建的整體架構(gòu)面貌。后續(xù)將會(huì)在此基礎(chǔ)上不斷深入每個(gè)過(guò)程的細(xì)節(jié)，探討實(shí)現(xiàn)的考慮點(diǎn)和合理性。

隨著即時(shí)通訊以及音頻處理和壓縮技術(shù)的不斷發(fā)展，效果更好、適用范圍更廣、性能更高的算法和新的技術(shù)必將不斷涌現(xiàn)，如果你有好的技術(shù)或者分享，歡迎關(guān)注網(wǎng)易云信官方博客和 GitHub：

關(guān)注更多技術(shù)干貨內(nèi)容：網(wǎng)易云信博客
歡迎關(guān)注網(wǎng)易云信 GitHub
歡迎關(guān)注網(wǎng)易云信官網(wǎng)