摘要：講解從三個部分展開短視頻應(yīng)用場景阿里云短視頻解決方案阿里云對短視頻用戶體驗(yàn)的相關(guān)優(yōu)化。同時，為了面對業(yè)務(wù)的突發(fā)流量，阿里云提供了超過的帶寬儲備，為持續(xù)增長的業(yè)務(wù)保駕護(hù)航。二播放卡頓是指在播放過程中的不流暢情況，會嚴(yán)重影響用戶體驗(yàn)。

深圳云棲大會已經(jīng)圓滿落幕，在3月29日飛天技術(shù)匯-彈性計算、網(wǎng)絡(luò)和CDN專場中，阿里云CDN高級技術(shù)專家周哲為我們帶來了《海量短視頻極速分發(fā)》的主題分享，帶領(lǐng)我們從視頻內(nèi)容采集、上傳、存儲和分發(fā)的角度介紹整體方案，并且重點(diǎn)講解短視頻加速的注意事項(xiàng)和用戶體驗(yàn)優(yōu)化要點(diǎn)。

講解從三個部分展開：短視頻應(yīng)用場景、阿里云短視頻解決方案、阿里云對短視頻用戶體驗(yàn)的相關(guān)優(yōu)化。

短視頻比圖片和文字包含更多的信息，在移動互聯(lián)網(wǎng)普及的今天，短視頻應(yīng)用場景非常廣泛。

一、 社群分享場景
用戶可以錄制視頻，進(jìn)行特效編輯處理，上傳到服務(wù)器，通過社區(qū)的方式分享給好友。

二、 電商場景
商家可以快速拍攝、制作商品的短片，把商品的介紹視頻發(fā)給消費(fèi)者，這樣可以提高購買轉(zhuǎn)化率。

三、 IM聊天場景
在交流過程中，通過隨拍隨傳的短視頻，用戶可以更生動的表達(dá)觀點(diǎn)，更真實(shí)的傳遞情感

四、 新媒體場景
區(qū)別于傳統(tǒng)、單一的圖文展示形態(tài)，短視頻可以快速收集及發(fā)布新聞，一鍵呈現(xiàn)世界

五、 體育賽事場景
集成短視頻SDK后，用戶可以在現(xiàn)場實(shí)時拍攝和剪輯，生成具有傳播價值的短視頻，通過分享來全網(wǎng)同步賽事

阿里云針對短視頻的業(yè)務(wù)場景，提供了一整套技術(shù)解決方案。在主播端，提供了視頻上傳SDK和短視頻SDK，在觀眾端提供視頻播放SDK，在服務(wù)器端提供點(diǎn)播服務(wù)、OSS存儲和CDN加速。

對于開發(fā)者來說，短視頻解決方案的使用流程是這樣的：首先主播端使用短視頻SDK對用戶的視頻進(jìn)行錄制、特效處理和剪輯，然后將視頻通過上傳SDK上傳到服務(wù)器端，在服務(wù)器端先通過點(diǎn)播服務(wù)進(jìn)行轉(zhuǎn)碼以及視頻處理，然后把處理好的視頻存儲到OSS上，做持久化保存。在播放端集成播放器SDK，播放器會向CDN請求資源，CDN如果有緩存會把緩存的數(shù)據(jù)發(fā)給客戶端。如果CDN緩存沒有數(shù)據(jù)會去OSS中拉取數(shù)據(jù)，在返回給客戶端，并把數(shù)據(jù)緩存到CDN上。開發(fā)者使用這些技術(shù)組件，可以快速的開發(fā)短視頻業(yè)務(wù)。

下面，我們逐一介紹解決方案的能力與特點(diǎn)。

解決方案中的視頻SDK，包括短視頻、上傳和播放三個。短視頻SDK包含人臉貼圖、高級美顏的功能，在用戶錄制視頻之后先進(jìn)行本地美顏再進(jìn)行上傳，同時也提供專業(yè)濾鏡、MV特效和裁剪壓縮、添加音樂的功能，使視頻剪輯大眾化；上傳SDK通過快速通道可以把視頻傳輸?shù)椒?wù)器端，支持?jǐn)帱c(diǎn)續(xù)傳、后臺上傳、多文件管理等功能；播放器SDK支持Android、IOS、flash、H5等多個平臺、加密播放和安全下載等。

點(diǎn)播和存儲服務(wù)，點(diǎn)播服務(wù)提供視頻管理相關(guān)的功能，比如視頻轉(zhuǎn)碼，窄帶高清可以在相同的用戶觀感體驗(yàn)下，節(jié)約30%的帶寬；云剪輯功能可以在線對視頻進(jìn)行編輯處理；同時點(diǎn)播服務(wù)提供豐富的數(shù)據(jù)統(tǒng)計，開發(fā)者利用阿里云提供的API訪問實(shí)時數(shù)據(jù)。

同時，阿里云也在視頻領(lǐng)域開放了AI技術(shù)，包括內(nèi)容審核，降低違規(guī)風(fēng)險；智能封面，對視頻結(jié)構(gòu)化處理和算法選取最優(yōu)視頻幀作為視頻封面；標(biāo)簽預(yù)測，通過AI來識別視頻中文字、圖像、人物等信息，自動生成視頻標(biāo)簽等。

基于短視頻業(yè)務(wù)產(chǎn)生的海量數(shù)據(jù)，阿里云也提供了高可靠、強(qiáng)安全、低成本的存儲服務(wù)。

為了應(yīng)對短視頻大規(guī)模的業(yè)務(wù)需求，阿里云CDN建設(shè)了大量的基礎(chǔ)設(shè)施。

首先，阿里云CDN擁有全球1200多個節(jié)點(diǎn)，分布在全球各個國家和地區(qū)，貼近用戶部署，使用戶更快速的訪問視頻內(nèi)容，使視頻體驗(yàn)更好。同時，為了面對業(yè)務(wù)的突發(fā)流量，阿里云提供了超過80TB的帶寬儲備，為持續(xù)增長的業(yè)務(wù)保駕護(hù)航。并且，單節(jié)點(diǎn)緩存容量超過1PB，通過提供更大的緩存空間，來提升用戶訪問速度。

介紹完了解決方案之后，周哲老師又為大家介紹了阿里云在短視頻領(lǐng)域的一些優(yōu)化技術(shù)。

短視頻用戶體驗(yàn)的關(guān)鍵指標(biāo)有首屏?xí)r間、播放卡頓和播放錯誤。
一、首屏?xí)r間是指在視頻穩(wěn)定播放期間，從用戶點(diǎn)擊播放到視頻開始播放之間的時間差。首屏?xí)r間越長，會導(dǎo)致用戶提前結(jié)束播放。

二、播放卡頓是指在播放過程中的不流暢情況，會嚴(yán)重影響用戶體驗(yàn)。

三、播放錯誤是指用戶播放視頻時沒有成功播放，或出現(xiàn)異常導(dǎo)致提前中斷。

用戶體驗(yàn)優(yōu)化剖析
為了解決這些問題，我們對整個架構(gòu)進(jìn)行剖析。

首先，終端用戶使用阿里云提供的視頻SDK來請求調(diào)度服務(wù)器，調(diào)度服務(wù)器返回對應(yīng)的節(jié)點(diǎn)IP，然后播放器通過CDN的節(jié)點(diǎn)IP來請求資源，CDN的邊緣節(jié)點(diǎn)如果有緩存的話可以從本地發(fā)給播放器，如果沒有緩存就去二級節(jié)點(diǎn)進(jìn)行訪問，二級節(jié)點(diǎn)沒有緩存會去OSS或者用戶源站拉取數(shù)據(jù)。

首先，阿里云CDN擁有全球1200多個節(jié)點(diǎn)，分布在全球各個國家和地區(qū)，貼近用戶部署，使用戶更快速的訪問視頻內(nèi)容，使視頻體驗(yàn)更好。同時，為了面對業(yè)務(wù)的突發(fā)流量，阿里云提供了超過80TB的帶寬儲備，為持續(xù)增長的業(yè)務(wù)保駕護(hù)航。并且，單節(jié)點(diǎn)緩存容量超過1PB，通過提供更大的緩存空間，來提升用戶訪問速度。

介紹完了解決方案之后，周哲老師又為大家介紹了阿里云在短視頻領(lǐng)域的一些優(yōu)化技術(shù)。

短視頻用戶體驗(yàn)的關(guān)鍵指標(biāo)有首屏?xí)r間、播放卡頓和播放錯誤。
一、首屏?xí)r間是指在視頻穩(wěn)定播放期間，從用戶點(diǎn)擊播放到視頻開始播放之間的時間差。首屏?xí)r間越長，會導(dǎo)致用戶提前結(jié)束播放。

二、播放卡頓是指在播放過程中的不流暢情況，會嚴(yán)重影響用戶體驗(yàn)。

三、播放錯誤是指用戶播放視頻時沒有成功播放，或出現(xiàn)異常導(dǎo)致提前中斷。

為了解決這些問題，我們對整個架構(gòu)進(jìn)行剖析。

首先，終端用戶使用阿里云提供的視頻SDK來請求調(diào)度服務(wù)器，調(diào)度服務(wù)器返回對應(yīng)的節(jié)點(diǎn)IP，然后播放器通過CDN的節(jié)點(diǎn)IP來請求資源，CDN的邊緣節(jié)點(diǎn)如果有緩存的話可以從本地發(fā)給播放器，如果沒有緩存就去二級節(jié)點(diǎn)進(jìn)行訪問，二級節(jié)點(diǎn)沒有緩存會去OSS或者用戶源站拉取數(shù)據(jù)。

阿里云CDN有一級節(jié)點(diǎn)、二級節(jié)點(diǎn)的緩存，二級節(jié)點(diǎn)的作用是
第一，做資源收斂，避免相同請求同時回源，減少源站壓力
第二，離邊緣節(jié)點(diǎn)接近，在邊緣節(jié)點(diǎn)沒命中的時候，能夠更快的從二級節(jié)點(diǎn)獲取到數(shù)據(jù)
第三，提供更大的存儲空間，提高命中。

同時，阿里云對于整個播放過程，進(jìn)行一些用戶體驗(yàn)相關(guān)的數(shù)據(jù)打點(diǎn)，通過這些數(shù)據(jù)來進(jìn)行分析，得到了一些優(yōu)化點(diǎn)。

第一就是播放器
播放器是否優(yōu)化決定了終端用戶的觀看質(zhì)量。首先，我們對播放器SDK做了相關(guān)優(yōu)化，比如，通過減少首次緩沖時間，可以設(shè)置在收到視頻第一個I幀就開始解碼播放；提供動態(tài)緩存大小，當(dāng)出現(xiàn)網(wǎng)絡(luò)抖動的時候，可以動態(tài)增加緩存大小，對數(shù)據(jù)進(jìn)行預(yù)加載，通過這種方式來降低卡頓率；針對播放錯誤，播放器SDK實(shí)現(xiàn)了網(wǎng)絡(luò)重試機(jī)制，來提供播放成功率。

第二個優(yōu)化是針對調(diào)度系統(tǒng)
用戶在訪問邊緣節(jié)點(diǎn)的時候，訪問調(diào)度服務(wù)器，調(diào)度服務(wù)器返回的IP地址是不是最優(yōu)的網(wǎng)絡(luò)鏈路，這個很大程度上影響用戶對于視頻的下載速度。阿里云自研了智能調(diào)度系統(tǒng)，可以選擇用戶到邊緣節(jié)點(diǎn)的最優(yōu)鏈路，來反饋給客戶端。

第三是阿里云提供非常多的網(wǎng)絡(luò)節(jié)點(diǎn)覆蓋
能夠讓邊緣節(jié)點(diǎn)距離用戶更近，來提升用戶訪問速度。

第四個優(yōu)化點(diǎn)是協(xié)議棧優(yōu)化
在用戶向CDN服務(wù)器獲取數(shù)據(jù)時，當(dāng)出現(xiàn)網(wǎng)絡(luò)抖動的時候，會有下載速度降低情況產(chǎn)生，阿里云CDN針對TCP協(xié)議棧進(jìn)行優(yōu)化，通過更高效的協(xié)議棧算法來提升下載速度。

第五個優(yōu)化點(diǎn)是窄帶高清
開發(fā)者可以使用阿里云提供的窄帶高清功能，來降低播放視頻的帶寬。

第六是緩存服務(wù)器優(yōu)化
用戶在訪問邊緣節(jié)點(diǎn)的時候，如果請求在邊緣節(jié)點(diǎn)MISS會直接回源，響應(yīng)時間變慢，而如果邊緣節(jié)點(diǎn)命中，用戶的下載的速度就和邊緣節(jié)點(diǎn)緩存服務(wù)器的性能具有強(qiáng)關(guān)聯(lián)性了，阿里云針對緩存服務(wù)器的性能做了很多優(yōu)化，通過加大邊緣服務(wù)器的空間和智能優(yōu)化，來提升訪問速率。

第七是全鏈路監(jiān)控
阿里云也支持全鏈路監(jiān)控，來提早發(fā)現(xiàn)問題，針對性優(yōu)化，確保穩(wěn)定服務(wù)

智能調(diào)度系統(tǒng)優(yōu)化
這里詳細(xì)介紹一下智能調(diào)度的優(yōu)化，針對調(diào)度系統(tǒng)，阿里云做了五個方面的優(yōu)化。

第一個是精準(zhǔn)的IP數(shù)據(jù)庫會持續(xù)更新
基于第三方IP庫數(shù)據(jù)、whois平臺和淘寶手機(jī)用戶在訪問數(shù)據(jù)時的一些經(jīng)緯度信息，會對IP庫進(jìn)行主動探測，基于這些維度的數(shù)據(jù)，進(jìn)行計算和生成。IP庫數(shù)據(jù)的準(zhǔn)確性會對調(diào)度系統(tǒng)提供數(shù)據(jù)支撐。

第二個是提供HTTPDNS服務(wù)
用戶通過localdns請求調(diào)度服務(wù)器，會遇到第一個問題是：localdns和用戶ip位置有不匹配問題，會出現(xiàn)基于localdns調(diào)度時，調(diào)度系統(tǒng)看到的客戶端ip和用戶真實(shí)ip不一致，導(dǎo)致調(diào)度不準(zhǔn)確。第二個問題是：用戶查詢dns服務(wù)器時，在查詢過程中會出現(xiàn)dns結(jié)果被串改的情況

通過httpdns服務(wù)，可以解決由于localdns和ip地址不匹配問題，同時也可以做到dns結(jié)果防串改，使調(diào)度更精準(zhǔn)。

播放器基于httpdns對dns查詢做預(yù)加載，并對結(jié)果做緩存，減少dns查詢查詢帶來的首屏?xí)r間慢。

第三點(diǎn)是基于用戶體驗(yàn)的自動化調(diào)度
會基于用戶的客戶端IP以及用戶到每個節(jié)點(diǎn)的網(wǎng)絡(luò)情況、當(dāng)前各個節(jié)點(diǎn)的狀態(tài)，來進(jìn)行計算，通過一些機(jī)器學(xué)習(xí)的方式，來預(yù)測用戶到哪個節(jié)點(diǎn)的網(wǎng)絡(luò)鏈路為最優(yōu)。這樣就確保給用戶IP地址返回最優(yōu)的網(wǎng)絡(luò)鏈路。

第四個是大數(shù)據(jù)分析，選擇最優(yōu)節(jié)點(diǎn)。
通過當(dāng)前節(jié)點(diǎn)覆蓋情況和用戶訪問流量趨勢，進(jìn)行數(shù)據(jù)預(yù)測，去選擇在哪里建點(diǎn)，并且去計算這些節(jié)點(diǎn)覆蓋哪些用戶的網(wǎng)絡(luò)質(zhì)量是最優(yōu)的，為調(diào)度系統(tǒng)提供數(shù)據(jù)支撐。

最后一點(diǎn)是基于內(nèi)容調(diào)度，提高命中率。
通過302做內(nèi)容粒度的調(diào)度，把相同URL調(diào)度到同一臺機(jī)器上，提高命中率。

阿里云CDN針對緩存系統(tǒng)也做了很多優(yōu)化。

通過自研的緩存系統(tǒng)，開發(fā)基于裸盤的緩存系統(tǒng)。使用內(nèi)存、SSD、SATA三級緩存架構(gòu)，把最熱的資源存儲到內(nèi)存中，次熱的資源存儲在SSD中，冷的資源存儲在SATA中，并且通過熱點(diǎn)遷移的方式，把SATA中熱的資源遷移到內(nèi)存和SSD中，再通過淘汰算法，把內(nèi)存和SSD中的冷的資源淘汰到SATA盤中。通過這種方式，提供內(nèi)存和SSD的命中率，降低SATA盤的IO讀寫情況，來存儲更多的冷資源，提高邊緣節(jié)點(diǎn)利用率。

同時，自研的文件系統(tǒng)對IO操作做了很多優(yōu)化，比如說合并IP對齊寫入功能，避免內(nèi)存碎片和磁盤碎片帶來的IO性能嚴(yán)重下降。對大文件進(jìn)行切片存儲，分片存儲到不同磁盤中，避免因單個視頻文件過熱導(dǎo)致磁盤性能下降。

通過以上的優(yōu)化措施，緩存的平均命中率在95%以上，首字節(jié)時間平均低于10ms。

第一個優(yōu)化點(diǎn)是基于時間序的丟包發(fā)現(xiàn)機(jī)制，主要是在TCP協(xié)議棧里去分析TCP發(fā)包的時間序列，然后能夠識別出哪些包丟掉了，快速發(fā)現(xiàn)丟包和快速重傳。

第二個優(yōu)化點(diǎn)是主動丟包發(fā)現(xiàn)機(jī)制，是指我們在發(fā)現(xiàn)包的時候去主動探測，避免通過超時來發(fā)現(xiàn)丟包，減少丟包發(fā)現(xiàn)的時間，提高進(jìn)行重傳
第三個是自適應(yīng)的初始化窗口，針對不同業(yè)務(wù)場景使用不同初始化窗口大小。

第四個是更激進(jìn)的擁塞避免算法，針對網(wǎng)絡(luò)不好的情況，在協(xié)議棧中識別狀態(tài)，使用更激進(jìn)的發(fā)包策略，解決下載速度慢的問題。

第五個優(yōu)化點(diǎn)是使用更小的鏈接超時時間，來更早的發(fā)現(xiàn)丟包。

基于以上的優(yōu)化，我們使用第三方檢測平臺，對某短視頻業(yè)務(wù)1.2M文件，和其他CDN廠商做性能對比測試，相同文件大小從內(nèi)容下載時間上看，使用阿里云CDN有2%-6%的性能提升。其余數(shù)據(jù)也表現(xiàn)優(yōu)異。

歡迎大家來使用阿里云點(diǎn)播服務(wù)、CDN和OSS存儲，來搭建短視頻應(yīng)用。

詳情請閱讀原文