摘要：數(shù)據(jù)出來后，阿里云還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準(zhǔn)確都可能導(dǎo)致很嚴(yán)重的后果，所以對(duì)于數(shù)據(jù)的準(zhǔn)確性要求很高。阿里云更多的是做實(shí)時(shí)數(shù)據(jù)分析。

想要實(shí)現(xiàn)優(yōu)質(zhì)高速的互聯(lián)網(wǎng)視頻服務(wù)，一定離不開高質(zhì)量的內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)，就是我們常說的CDN，在10月13日云棲大會(huì)視頻多媒體分論壇上，阿里云高級(jí)技術(shù)專家空見為大家講解了CDN服務(wù)過程中，數(shù)據(jù)處理、安全監(jiān)測(cè)、日志分析、智能分析是如何為CDN賦能的。下面是演講主要內(nèi)容提煉：

目前阿里云CDN的節(jié)點(diǎn)的數(shù)量超過1200個(gè)，可承載的帶寬能力超過80Tbps，基本能覆蓋國(guó)內(nèi)一半的分發(fā)要求，海外的部署也是十分廣泛的。在產(chǎn)品方面，CDN包括PCDN、安全加速、全站加速等各種子產(chǎn)品，因?yàn)榉治龅膱?chǎng)景不同，所以對(duì)數(shù)據(jù)平臺(tái)的擴(kuò)展性也提出了更高的要求。從業(yè)務(wù)規(guī)模來看，阿里云CDN現(xiàn)在線上跑著百萬級(jí)的域名，每個(gè)域名的分析都要做，比傳統(tǒng)CDN高了兩個(gè)量級(jí)。如此龐大的業(yè)務(wù)，對(duì)于用戶內(nèi)容的分發(fā)是好事情，對(duì)數(shù)據(jù)的回收和分析，卻是一個(gè)不小的挑戰(zhàn)。

CDN的數(shù)據(jù)有三個(gè)關(guān)鍵字：海量、可靠、實(shí)時(shí)。

海量，CDN目前每秒鐘有大幾千萬的數(shù)據(jù)訪問，每天會(huì)沉淀出來5PB的系統(tǒng)日志，所以離線數(shù)據(jù)通常在EB級(jí)別，這個(gè)對(duì)實(shí)時(shí)計(jì)算和離線分析都有很大的壓力；在監(jiān)控這塊阿里云CDN每天達(dá)到千億級(jí)別，而且每年CDN數(shù)據(jù)增長(zhǎng)都在100%之上，所以系統(tǒng)必須要有很強(qiáng)的擴(kuò)展性，并提前設(shè)計(jì)好各個(gè)環(huán)節(jié)。

可靠，CDN的數(shù)據(jù)一定要是準(zhǔn)確的，不能有毛刺的數(shù)據(jù)。因?yàn)閿?shù)據(jù)的應(yīng)用場(chǎng)景是很苛刻的，比如計(jì)費(fèi)和監(jiān)控，不能出現(xiàn)紕漏，不能漏報(bào)誤報(bào)。數(shù)據(jù)出來后，阿里云CDN還要在全球范圍內(nèi)調(diào)度流量，一絲一毫的不準(zhǔn)確都可能導(dǎo)致很嚴(yán)重的后果，所以對(duì)于數(shù)據(jù)的準(zhǔn)確性要求很高。第二是系統(tǒng)本身的穩(wěn)定，系統(tǒng)各個(gè)環(huán)境不能有明顯的瓶頸，系統(tǒng)要有足夠強(qiáng)的容災(zāi)能力，系統(tǒng)的自動(dòng)恢復(fù)方案也要是充分的。

實(shí)時(shí)，在從前，阿里云CDN是五分鐘分析一次數(shù)據(jù)，不管是計(jì)量還是計(jì)費(fèi)，都以這個(gè)為標(biāo)準(zhǔn)。現(xiàn)在，因?yàn)橛辛烁嗟臉I(yè)務(wù)場(chǎng)景，以直播為例，如果一個(gè)主播推流斷掉了，不能馬上發(fā)現(xiàn)的話，影響的可能就是幾十、上百萬的用戶的觀看體驗(yàn)。所以，在實(shí)時(shí)性上，阿里云CDN現(xiàn)在能做到分鐘以及秒級(jí)的實(shí)時(shí)，也就是說，在整個(gè)數(shù)據(jù)的要求上來看，不僅吞吐量要大，延遲也要足夠低。

如此大規(guī)模的數(shù)據(jù)，如此嚴(yán)苛的要求，阿里云CDN又如何應(yīng)對(duì)呢？

下面我們看看阿里云CDN在數(shù)據(jù)收集方面是怎么做的。現(xiàn)在整個(gè)系統(tǒng)數(shù)據(jù)量化的程度還是比較高的，不光是用戶的訪問數(shù)據(jù)，系統(tǒng)的操作數(shù)據(jù)也是可以量化的。下面是數(shù)據(jù)收集全貌圖：

數(shù)據(jù)來源，有兩個(gè)方面，一個(gè)是左邊的節(jié)點(diǎn)，另一個(gè)是右邊的用戶。

先從從左邊的邊緣節(jié)點(diǎn)來看，它是從全球的邊緣節(jié)點(diǎn)去采集和處理，上面的數(shù)據(jù)大部分都是訪問、回源的日志，節(jié)點(diǎn)之間互相探測(cè)的日志等，在總數(shù)據(jù)中占比80%以上。這里的數(shù)據(jù)量級(jí)非常大，而且本身CDN就是分布式系統(tǒng)，所以阿里云CDN將一部分?jǐn)?shù)據(jù)分析工作在節(jié)點(diǎn)上就先完成了，比如通用的流量、命中率、QPS等指標(biāo)，會(huì)在節(jié)點(diǎn)上做預(yù)處理，同時(shí)，全量的數(shù)據(jù)也會(huì)通過流式傳輸往數(shù)據(jù)中心去走。

右面是用戶數(shù)據(jù)，通過瀏覽器或SDK來訪問我們內(nèi)容的用戶，還包括系統(tǒng)上的用戶，包括管理員管理配置、業(yè)務(wù)人員在后臺(tái)對(duì)線上資源進(jìn)行調(diào)配等，一般這里的數(shù)據(jù)直接通過流式傳輸平臺(tái)SLS客戶端直接發(fā)出。

在中心傳輸這一層，阿里云CDN采用阿里云本身的SLS產(chǎn)品，SLS支持對(duì)數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)化、分發(fā)、檢索等功能，本身比較靈活，滿足了ETL的場(chǎng)景，并且可以在上面做一些客戶定制化的處理。SLS下來后，再用Blink對(duì)數(shù)據(jù)進(jìn)行流式處理，它有一個(gè)好處就是中間狀態(tài)可以保存，不需要應(yīng)用和外部的第三方存儲(chǔ)再做交互，能夠滿足數(shù)據(jù)定制化分析的一些場(chǎng)景。原始的訪問及分析后的業(yè)務(wù)數(shù)據(jù)，最終會(huì)沉淀存儲(chǔ)在ODPS中。用戶也可以選擇其他存儲(chǔ)方式，比如可以提供文件下載功能的對(duì)象存儲(chǔ)OSS。另外，時(shí)序數(shù)據(jù)也會(huì)存在OTS數(shù)據(jù)庫(kù)中，以備實(shí)時(shí)檢索。

以上的數(shù)據(jù)收集，基本上都是采用阿里云的產(chǎn)品，阿里云CDN的技術(shù)專家們只需要把系統(tǒng)串聯(lián)起來，保證整體可用性即可，如此，就能將更多精力集中在數(shù)據(jù)的分析和應(yīng)用上了。

在數(shù)據(jù)分析這塊，離線方面會(huì)做的輕一點(diǎn)，做運(yùn)營(yíng)報(bào)表和數(shù)據(jù)挖掘。阿里云CDN更多的是做實(shí)時(shí)數(shù)據(jù)分析。這兩個(gè)分析系統(tǒng)，會(huì)將數(shù)據(jù)最終匯集到專家系統(tǒng)，用于檢測(cè)這些數(shù)據(jù)有沒有異常，找到異常問題的定位。找到問題根源后，根據(jù)其他平臺(tái)產(chǎn)生的數(shù)據(jù)，關(guān)聯(lián)起來，用機(jī)器學(xué)習(xí)的算法做一個(gè)問題的分類。

數(shù)據(jù)分析的使用場(chǎng)景包括：
自動(dòng)化運(yùn)維，通過機(jī)器資源、線上問題的收斂，阿里云CDN目前只需要三個(gè)運(yùn)維就足夠了；
智能調(diào)度，實(shí)時(shí)根據(jù)大區(qū)、節(jié)點(diǎn)的情況，合理調(diào)度流量和進(jìn)行節(jié)點(diǎn)建設(shè)；
用戶畫像，相當(dāng)于給用戶提供一個(gè)體檢，給出當(dāng)前服務(wù)的建議，優(yōu)化業(yè)務(wù)；
事件中心，記錄當(dāng)前節(jié)點(diǎn)上正在發(fā)生的事件，關(guān)注網(wǎng)絡(luò)抖動(dòng)和發(fā)布情況。

左邊是官網(wǎng)的截圖，用戶可以根據(jù)自己想要的維度，關(guān)注各類報(bào)表，看到CDN使用的情況。
中間是內(nèi)部的監(jiān)控系統(tǒng)，分鐘+秒級(jí)監(jiān)控，用于問題的復(fù)排和打標(biāo)。
右邊是事件的數(shù)據(jù)，顯示當(dāng)前整個(gè)平臺(tái)的流量、事件等級(jí)和匯集情況等。

除了業(yè)務(wù)層數(shù)據(jù)，阿里云CDN和阿里云IDST聯(lián)合，對(duì)CDN上分發(fā)的文本、圖片、視頻等內(nèi)容進(jìn)行鑒定，篩查涉黃等違規(guī)內(nèi)容，防止IP被封。

整個(gè)CDN數(shù)據(jù)化為了驅(qū)動(dòng)系統(tǒng)，形成下發(fā)、執(zhí)行、采集、分析的閉環(huán)。

在分享的最后，空見總結(jié)道：“從業(yè)務(wù)接入層，我們可以提供方便、快捷的接入環(huán)境；在策略執(zhí)行層，我們可以快速把操作發(fā)布到線上，達(dá)到秒級(jí)生效；在數(shù)據(jù)生產(chǎn)層，我們將把所有的系統(tǒng)都量化起來，采集到海量、有效的數(shù)據(jù)；在決策中心層，我們相應(yīng)對(duì)數(shù)據(jù)進(jìn)行收斂，只關(guān)注關(guān)鍵數(shù)據(jù)指標(biāo)，整個(gè)是一個(gè)閉環(huán)的過程。有了數(shù)據(jù)化的系統(tǒng)，后面的自動(dòng)化、智能化才有更多發(fā)揮的空間。”