"移動(dòng)云"(http://ecloud.10086.cn/)隸屬于中國(guó)移動(dòng)通信集團(tuán)公司,是中國(guó)移動(dòng)面向政企、事業(yè)單位、開(kāi)發(fā)者等客戶推出的基于云計(jì)算技術(shù)、采用互聯(lián)網(wǎng)模式、提供基礎(chǔ)資源、平臺(tái)能力、軟件應(yīng)用等服務(wù)的業(yè)務(wù)。
客戶介紹
中國(guó)移動(dòng)通信集團(tuán)公司,注冊(cè)資本512億元人民幣,資產(chǎn)規(guī)模超過(guò)萬(wàn)億元人民幣,擁有全球的網(wǎng)絡(luò)和客戶規(guī)模,2015年列《財(cái)富》雜志世界500強(qiáng)55位,品牌價(jià)值位列全球電信品牌前列。
"移動(dòng)云"(http://ecloud.10086.cn/)隸屬于中國(guó)移動(dòng)通信集團(tuán)公司,是中國(guó)移動(dòng)面向政企、事業(yè)單位、開(kāi)發(fā)者等客戶推出的基于云計(jì)算技術(shù)、采用互聯(lián)網(wǎng)模式、提供基礎(chǔ)資源、平臺(tái)能力、軟件應(yīng)用等服務(wù)的業(yè)務(wù)。移動(dòng)云是建立在中國(guó)移動(dòng)“大云”的基礎(chǔ)上,自主技術(shù)研發(fā)而成的公有云平臺(tái),通過(guò)服務(wù)器虛擬化、對(duì)象存儲(chǔ)、網(wǎng)絡(luò)安全能力自動(dòng)化、資源動(dòng)態(tài)調(diào)度等技術(shù),將計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、安全、大數(shù)據(jù)、開(kāi)放云市場(chǎng)等作為服務(wù)提供,客戶根據(jù)其應(yīng)用的需要可以按需使用、按使用付費(fèi)。
項(xiàng)目背景及業(yè)務(wù)挑戰(zhàn)
隨著中國(guó)移動(dòng)“大云”公有云平臺(tái)不斷發(fā)展,后端存儲(chǔ)平臺(tái)需求非常旺盛。中移(蘇州)軟件技術(shù)有限計(jì)劃搭建分布式對(duì)象存儲(chǔ)解決如下問(wèn)題:
-
國(guó)移動(dòng)公眾服務(wù)云四期、五期需要基于Ceph搭建對(duì)象存儲(chǔ)業(yè)務(wù),主要用于移動(dòng)公眾服務(wù)云后端對(duì)象存儲(chǔ),規(guī)模30PB。
-
需要設(shè)計(jì)和交付存儲(chǔ)系統(tǒng)的交付流程,保證存儲(chǔ)項(xiàng)目按時(shí)高質(zhì)量落地,保證存儲(chǔ)系統(tǒng)穩(wěn)定運(yùn)行運(yùn)營(yíng)。
-
流程包括:架構(gòu)設(shè)計(jì)服務(wù)、部署服務(wù)、驗(yàn)證服務(wù)、培訓(xùn)服務(wù)、系統(tǒng)交付、診斷工具、運(yùn)維工具、升級(jí)服務(wù)、支持服務(wù)、擴(kuò)展服務(wù)、產(chǎn)品文檔。
解決方案
基于UMCloud 現(xiàn)有分布式存儲(chǔ)解決方案,設(shè)計(jì)使用Ceph搭建移動(dòng)大云后端分布式對(duì)象存儲(chǔ)。
對(duì)象存儲(chǔ)服務(wù)物理架構(gòu)示意圖
對(duì)象存儲(chǔ)由智能分布式存儲(chǔ)(RADOS)集群、管理平臺(tái)和駐留在應(yīng)用服務(wù)系統(tǒng)中的程序或代碼庫(kù)組成,如下圖所示:
圖1 對(duì)象存儲(chǔ)服務(wù) 物理架構(gòu)
其中智能分布式對(duì)象存儲(chǔ)集群包含 OSD ,MON 和RGW組件:
-
OSD:OSD 負(fù)責(zé)處理客戶端讀寫(xiě)請(qǐng)求。不管是通過(guò)哪種方式(對(duì)象、文件或者其他通過(guò)調(diào)用librados接口的API)訪問(wèn)分布式存儲(chǔ)集群,數(shù)據(jù)都轉(zhuǎn)換成對(duì)象存儲(chǔ)到集群中。一個(gè)OSD對(duì)應(yīng)一個(gè)存儲(chǔ)磁盤(pán)。一個(gè)集群可根據(jù)容量、性能、故障域需要,部署多個(gè)OSD 節(jié)點(diǎn)。
-
MON:MON負(fù)責(zé)處理集群管理元數(shù)據(jù)表。客戶端向OSD發(fā)送讀寫(xiě)請(qǐng)求之前,需要從MON中拿到新的集群表,利用CRUSH算法計(jì)算出來(lái)數(shù)據(jù)存儲(chǔ)位置后,直接將讀寫(xiě)請(qǐng)求發(fā)送至對(duì)應(yīng)的OSD。一個(gè)存儲(chǔ)集群可以只包含1個(gè)MON 節(jié)點(diǎn),但是考慮到MON節(jié)點(diǎn)失效后集群不可用的情況,實(shí)際生產(chǎn)環(huán)境中一個(gè)存儲(chǔ)集群至少部署3個(gè)MON節(jié)點(diǎn)。
-
RGW:對(duì)象存儲(chǔ)網(wǎng)關(guān),給用戶提供REST API,并且兼容S3和Swift。
對(duì)象存儲(chǔ)服務(wù)網(wǎng)絡(luò)拓?fù)?/div>
北京、廣州邏輯拓?fù)淙缦拢?
圖2 多數(shù)據(jù)中心網(wǎng)絡(luò)拓?fù)?/div>
服務(wù)器有管理網(wǎng)、存儲(chǔ)網(wǎng)和業(yè)務(wù)網(wǎng)三套網(wǎng)絡(luò),所有網(wǎng)絡(luò)都做雙網(wǎng)卡bond,其中存儲(chǔ)萬(wàn)網(wǎng)和業(yè)務(wù)網(wǎng)共用一對(duì)萬(wàn)兆口。管理網(wǎng)用于系統(tǒng)的監(jiān)控和管理;存儲(chǔ)網(wǎng)用于OSD集群節(jié)點(diǎn)間的數(shù)據(jù)傳輸和心跳;業(yè)務(wù)網(wǎng)用于客戶端對(duì)后端存儲(chǔ)的訪問(wèn),以及Monitor組件間以及Monitor對(duì)OSD的心跳。
客戶收益
-
通過(guò)UMCloud 分布式對(duì)象存儲(chǔ)架構(gòu)實(shí)現(xiàn)數(shù)據(jù)中心級(jí)容災(zāi),Ceph可以實(shí)現(xiàn)異地?cái)?shù)據(jù)復(fù)制,基于容器對(duì)象異步遠(yuǎn)程復(fù)制技術(shù),主節(jié)點(diǎn)在對(duì)外提供服務(wù)時(shí),用戶數(shù)據(jù)在主節(jié)點(diǎn)落盤(pán)后即向用戶回應(yīng)“寫(xiě)成功”應(yīng)答,然后實(shí)時(shí)記錄數(shù)據(jù)變化的相關(guān)日志信息。備節(jié)點(diǎn)則實(shí)時(shí)比較主備數(shù)據(jù)差異,并及時(shí)將差異化數(shù)據(jù)拉回備節(jié)點(diǎn)。異步復(fù)制技術(shù)適用于遠(yuǎn)距離的容災(zāi)方案,對(duì)系統(tǒng)性能影響較小。
-
通過(guò)UMCloud 分布式對(duì)象存儲(chǔ)架構(gòu)自動(dòng)化部署和彈性擴(kuò)容,Ceph分布式存儲(chǔ)架構(gòu)可以實(shí)現(xiàn)對(duì)象存儲(chǔ)自動(dòng)化部署,通過(guò)UMCloud提供的部署工具實(shí)現(xiàn)了大規(guī)模集群的自動(dòng)化部署和配置、運(yùn)維和運(yùn)營(yíng)等功能。
-
通過(guò)UMCloud 分布式對(duì)象存儲(chǔ)架構(gòu)實(shí)現(xiàn)數(shù)據(jù)可靠性設(shè)計(jì)故障域/復(fù)制域機(jī)制,優(yōu)化存儲(chǔ)集群內(nèi)部復(fù)制流量;限定POD的規(guī)模,通過(guò)組合POD的方式提升存儲(chǔ)規(guī)模;優(yōu)化CRUSH MAP,優(yōu)化數(shù)據(jù)持久性和可用性;
-
根據(jù)網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)故障域和復(fù)制域,提高可用性和數(shù)據(jù)持久性,可以達(dá)到15個(gè)9的數(shù)據(jù)可靠性。