摘要：在這種場景下網(wǎng)易云信可以在接收的終端上通過超分辨率技術(shù)，恢復(fù)視頻質(zhì)量，極大地提升了移動端用戶的體驗。云信通過人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像視頻瞬間變高清，為移動端為用戶帶來極致視頻體驗。

泛娛樂應(yīng)用成為主流，社交與互動性強是共性，而具備這些特性的產(chǎn)品往往都集中在直播、短視頻、圖片分享社區(qū)等社交化娛樂產(chǎn)品，而在這些產(chǎn)品背后的黑科技持續(xù)成為關(guān)注重點，網(wǎng)易云信在網(wǎng)易MCtalk 泛娛樂創(chuàng)新峰會上重點介紹了超越像素的AI視頻黑科技“超分”。
超分辨率(Super-Resolution)通過硬件或軟件方法提高原有圖像的分辨率，通過一幅或者多幅低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建，可以通過人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像、視頻瞬間變高清，為移動端為用戶帶來極致視頻體驗。
什么是超分辨率
廣義的超分辨率 (SR, Super Resolution) 是指一類用于提升圖像分辨率的技術(shù)。這類技術(shù)已經(jīng)存在了很長一段時間，應(yīng)用也非常廣泛。事實上，每當我們需要以不同于原始分辨率的尺寸來顯示或存儲圖像時，就已經(jīng)使用了SR，只不過使用的是其中最為簡單的那類算法而已。
隨著圖像處理理論的發(fā)展，以及機器學(xué)習(xí)的普及和更高性能的處理器的出現(xiàn)，各類更優(yōu)秀的SR算法陸續(xù)出現(xiàn)。現(xiàn)在我們提及SR時，往往是特指依靠機器學(xué)習(xí)來實現(xiàn)的圖像放大算法。下文提到SR時也均特指這類算法。它能夠提供遠超于傳統(tǒng)圖像放大算法的圖像質(zhì)量。當然，運算量也要高得多。

圖1. 將原始圖像縮小3倍后分別使用Bicubic (一種傳統(tǒng)圖像放大算法) 和SRCNN (一種基于CNN的圖像放大算法) 進行放大[1]。
超分辨率理論描述
SR算法本質(zhì)上和傳統(tǒng)圖像放大算法沒什么不同，都是利用已有的圖像信息去預(yù)測需要的像素點。只不過傳統(tǒng)算法的預(yù)測模型非常簡單，可以通過人工設(shè)計的方式實現(xiàn)。例如雙線性插值，就是利用目標像素周圍的四個點來做預(yù)測，離目標位置越近的點權(quán)重越大，通過一個簡單的公式就能得到結(jié)果: f(x,y)=f(0,0)(1-x)(1-y)+f(1,0)x(1-y)+f(0,1)(1-x)y+f(1,1)xy

圖2. 雙線性插值，通過Q11~Q22這四個點預(yù)測點P
而現(xiàn)代SR算法為了得到更精確的預(yù)測結(jié)果，其預(yù)測模型則復(fù)雜了很多。一般有多個卷積層和激活層，會利用到目標像素周圍很大一片區(qū)域的圖像信息，包含成千上萬個模型參數(shù)，純靠人工設(shè)計是不現(xiàn)實的。所以人們才會依靠機器學(xué)習(xí)的方式來決定參數(shù)。這種做法還附帶有不少好處。例如你無需對圖像處理有深厚的理解就可以訓(xùn)練模型，再比如你可以根據(jù)自己的應(yīng)用場景調(diào)整訓(xùn)練集，從而得到更適合你的預(yù)測模型。
下圖是一個簡單的例子，來自經(jīng)典的超分算法SRCNN[1]。模型基于卷積神經(jīng)網(wǎng)絡(luò)，以原始圖像為輸入，先是用廉價的上采樣算法將分辨率提升到期望的大小, 然后經(jīng)過3層分別為9x9x128，3x3x64，5x5的卷積運算，得到超分輸出。

圖3. SRCNN網(wǎng)絡(luò)結(jié)構(gòu)
這幾年每屆超分競賽都會出現(xiàn)不少值得借鑒的新理論和新實現(xiàn)，SR的效果上限被不斷提高。介紹這些算法的文章有很多，感興趣的讀者可以自行搜索。
什么時候用超分辨率
雖然視覺效果很好，但SR在使用上有幾方面限制需要我們注意。其中最重要的就是性能這個硬性指標。即便是極為簡單的SR算法，其運算量也是傳統(tǒng)放大算法的上千倍，能否滿足應(yīng)用的性能需求是需要經(jīng)過測試和優(yōu)化的。
另外，目前的SR算法主要分兩個流派，一派的目標是盡可能地還原信息，另一派則允許在不影響視覺體驗的前提下對內(nèi)容進行一些修改。我們需要根據(jù)應(yīng)用場景來選擇不同的算法。如果在對圖像還原度要求較高的場合下使用了不適當?shù)腟R算法，可能帶來不好的后果。

圖4. 上圖左側(cè)為SRGAN模型[2]放大4倍生成的圖片，可以看到首飾的紋理被大幅修改。
還有一點，目前的SR算法大都針對自然圖像。對于一些特殊的圖像，例如因為縮小而失真的文字，直接使用SR算法去放大的效果實際測試下來并不理想。

圖5. 直接使用SR并不能較好地還原失真的文字
超分辨率的優(yōu)勢
基于深度學(xué)習(xí)的超分技術(shù)能較好的恢復(fù)圖像細節(jié). 在視頻發(fā)送源可能因為種種客觀限制， 無法提供高分辨率的視頻. 比如攝像頭采集能力不足， 網(wǎng)絡(luò)帶寬不足，源端處理能力不足等， 在這些情形下， 如果云端或者接收端的處理能力滿足要求， 可以借助超分技術(shù)， 對于視頻質(zhì)量做恢復(fù)， 呈現(xiàn)給用戶高質(zhì)量的視頻. 所以超分技術(shù)為在惡劣的客觀條件下的視頻應(yīng)用提供了高質(zhì)量呈現(xiàn)的可能， 是傳統(tǒng)的應(yīng)用借助人工智能技術(shù)提升使用體驗的一種典型落地場景.
網(wǎng)易云信在超分辨率的實踐
網(wǎng)易云信提供了點播直播和實時音視頻等技術(shù)能力。 支持的終端包括Windows PC, MAC, iPhone, iPad, Android手機， 機頂盒， 智能手表等可穿戴設(shè)備。其中可穿戴設(shè)備， 機頂盒等終端的成本控制比較嚴格， 通常CPU處理能力相對較弱， 無法支持高清， 甚至標清的視頻規(guī)格， 但是作為這些終端的使用者， 它們依然希望看到高清或標清的視頻質(zhì)量， 接收的終端可能是PC或者性能較好的手機, 平板電腦等設(shè)備，他們自己可能有能力提供優(yōu)秀的計算資源。在這種場景下, 網(wǎng)易云信可以在接收的終端上通過超分辨率技術(shù)， 恢復(fù)視頻質(zhì)量，極大地提升了移動端用戶的體驗。如果接收的終端本身運算能力不足以支撐深度學(xué)習(xí)， 但是有能力處理高清視頻的解碼， 網(wǎng)易云信依然可以在云端對低分辨率的視頻進行處理， 采用包括超分在內(nèi)的技術(shù)，對質(zhì)量恢復(fù)后，將高質(zhì)量的視頻提供到接收終端。
尤其針對弱網(wǎng)情況，云信將在云端或者接收終端通過超分技術(shù)對質(zhì)量進行補償， 為用戶呈現(xiàn)超高質(zhì)量視頻。云信通過人工智能深度學(xué)習(xí)將低分辨率視頻重建成高分辨率視頻模糊圖像、視頻瞬間變高清，為移動端為用戶帶來極致視頻體驗。
[1] C. Dong, C. C. Loy, K. He, and X. Tang. Learning a deep convolutional network for image super-resolution. In European Conference on Computer Vision (ECCV), pages 184–199. Springer,
2014.
[2] Ledig C, Theis L,Huszar F, et al. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network[J]. 2016:105-114.

想要閱讀更多技術(shù)干貨、行業(yè)洞察，歡迎關(guān)注網(wǎng)易云信博客。

了解網(wǎng)易云信，來自網(wǎng)易核心架構(gòu)的通信與視頻云服務(wù)。