摘要：今天的話題分四部分，第一個是小程序音視頻能拿來做什么，第二部分是將其內(nèi)部是怎么做到的第三就是講騰訊視頻云的音視頻技術(shù)的一些技術(shù)細節(jié)第四個是介紹一下微信上做音視頻的應用的一些審核問題以及應對方案。

本文由云+社區(qū)發(fā)表

作者：常青

騰訊視頻云是做什么的？騰訊視頻云既不做數(shù)據(jù)庫，也不做存儲，也不做網(wǎng)絡，我們只做音視頻服務，也就是直播、點播、視頻通話、這類面向B類客戶的音視頻PAAS業(yè)務。

今天主要是跟大家講的是騰訊視頻云在過去一年時間里跟小程序結(jié)合，看看怎么去把這樣一個高技術(shù)含量的一個能力去跟小程序這樣一個非常輕量級的平臺發(fā)揮1+1>2的效應。

今天的話題分四部分，第一個是小程序音視頻能拿來做什么，第二部分是將其內(nèi)部是怎么做到的？第三就是講騰訊視頻云的音視頻技術(shù)的一些技術(shù)細節(jié)；第四個是介紹一下微信上做音視頻的應用的一些審核問題以及應對方案。

我們現(xiàn)在開始第一部分。

我先開篇來個小故事，講講1944年，1944年其實是歐洲二戰(zhàn)戰(zhàn)場的最后的階段，當時盟軍有很多的戰(zhàn)艦逼近歐洲戰(zhàn)場，德國為了盡量減少這些戰(zhàn)艦的威脅，就開發(fā)了反艦導彈。這個導彈其實說白了就是給重磅航空炸彈裝了一個火箭發(fā)動機，點火之后就直接沖出去，威力是很大但準度很差，離遠了投放很容易就偏離目標了。所以如果不解決制導問題，這種武器其實沒什么用處。

當時太平洋戰(zhàn)場的日本人為了解決這個問題，直接將人裝在導彈里然后把門焊死，這種方法雖然簡單有效，但畢竟并不適合德國。

德國人技術(shù)還不錯，他們采用一個更加有技術(shù)含量的做法：在導彈前頭裝一個電視攝像頭，講攝像頭捕獲的影像通過導彈尾端的八木天先，直接傳送給投放導彈的轟炸機（躲得目標遠遠的），在轟炸機上面則安裝有一個電視接收器（請注意，這是在1944年，想想1944年我們在干嘛），這樣以來，轟炸機上的投彈手就可以看到導彈前端的所有影像，再通過控制遙感直接操控導彈飛向目標戰(zhàn)艦，這其實就是實時音視頻技術(shù)在軍事上的一個典型應用。

我們接下來不講那么遠的歷史，我們講講2018年。2018年小程序在今年熱度非常高，數(shù)量也特別多。但大家會看到很多小程序做的事情大多數(shù)對于H5公眾號的翻版，功能無外乎還是那些。但我要告訴你，如果小程序跟音視頻結(jié)合，有很多事情是H5做不了的事情，舉個例子我們現(xiàn)在看到這里面視頻通話應用。

我們先以平安95511為例，比如說早晨您開車上班，我知道北京的早高峰還是比較堵的，可能一不小心就跟別的車擠到一起擦花了，這時候你的選擇就是打電話給保險公司報險，保險公司接下來會讓你在事發(fā)地點慢慢等著，等半小時？等一小時？這要看當時交通情況或者擁堵程度了。

那現(xiàn)在有小程序在線定損方案，您只需要打開微信，搜索平安95511，也不用安裝APP，1-2秒鐘就能報險，大概2-3分鐘就能把報險流程走完。

您可能會問，為什么通過視頻的方案解決不通過電話呢？因為僅靠電話，保險公司并不能有效的區(qū)分電話的另一端是不是在騙保，而通過實時音視頻通話，造假就幾乎就不可能了。

接下來大家就問微信里視頻通話為什么不能用呢？如果大家跟女朋友做一些很私密的聊天你用微信通話是可以的，它跟文字消息一樣，全程不留底，絕大多是1v1通話都是p2p直連，即使過服務器的音視頻流也只是簡單的中轉(zhuǎn)。但在商用音視頻場景里，比如遠程客服、遠程醫(yī)療、遠程定損等等，國家的相關(guān)法律法規(guī)就規(guī)定要全程錄制，不然無法維護普通用戶的合法利益。

除了平安這類比較偏保險行業(yè)的案例，新零售領(lǐng)域我們跟寶馬也有一些合作。比如說您考慮一下寶馬系的車，之前可能只能去4S店，雖然確實看真車比較直觀，但最多也就是進去看看內(nèi)飾，而且有不少靦腆的年輕人礙于面子并不想進寶馬的店鋪。通過遠程視頻的方式跟銷售聊，您只需要在小程序里面搜索“寶馬實車互動平臺”，就有一個銷售1v1跟您溝通，他/她會拿手機直接給你看內(nèi)飾怎么樣，外觀怎么樣，遠程看各種細節(jié)，而且我們專門校調(diào)了720p的高清分辨率，絕對可以看清每一個細節(jié)。

當然還有遠程庭審，以及遠程醫(yī)療等項目，都有很多不錯的應用案例。

這里我們就可以發(fā)現(xiàn)，小程序音視頻可以解決兩個現(xiàn)實的傳統(tǒng)應用解決不了的問題：

第一個是傳統(tǒng)電話只有聲音沒有畫面，很多不好用語言表述的事情用小程序音視頻就能很好的解決；第二，它可以很大程度上解決裝一個有視頻通話功能的APP非常費勁的事情。

接下來要從技術(shù)層面講講我們是怎么做到的，怎么實現(xiàn)這個能力，這個分成幾部分：

首先，我們講我們的音視頻SDK嵌入到微信APP里面，然后外面包裝了兩個標簽，一個叫，一個叫 ，然后用小程序的jsbridge做了內(nèi)部的橋接。有了這樣一個能力之后，我們現(xiàn)在其實具備了兩個基礎(chǔ)功能，一個是可以做到音視頻流的上行，再有一個是做音視頻流的下行。

上行和下行什么意思？上行是把本地的畫面往服務器上傳，下行就是把服務器的畫面往本地拉，這個最典型的應用就是直播。大家可以看到我們?nèi)绻僭O像看到斗魚、虎牙的直播不錯，你回去可以用5分鐘或者10分鐘在小程序做一個，放一個，它可以傳到騰訊云的邊緣節(jié)點，通過轉(zhuǎn)碼集群進入CDN，再用一個進行播放，這可以組合出目前所有直播的應用能力。而直播質(zhì)量的保證主要是在于CDN，CDN很大的一個作用不僅僅是下圖片，也不僅僅是下文件，像視頻類的CDN我們可以做到近幾萬幾十萬并發(fā)的，我們大型的直播活動、賽事直播都可以來實現(xiàn)。

但是有了這套架構(gòu)之后有一個問題，它的應用場景還是比較偏小眾的，所謂的娛樂直播、游戲直播，光看直播其實我覺得還是沒有辦法體現(xiàn)小程序的價值，接下來我們要做一些嘗試，首先降低延時。就是主播這邊說一句話、體育賽事的球進了你這邊看大概需要5秒或者10秒。我們降低延時怎么做？很簡單地思路就是把鏈路的傳出延時降低，像這樣一段鏈路它延時很高，我們采用加速節(jié)點，這些加速節(jié)點中間采用UDP直接傳輸，比如說我在北京，你在深圳，我們在北京找一個云上的節(jié)點，深圳找一個云上的節(jié)點，中間用專線打通，這樣整個鏈路的延時是非常低的，單項傳輸延時可以控制在500毫秒以內(nèi)。有了它可以監(jiān)控一些監(jiān)控攝像頭這樣一些場景。

但這樣所用的場景還是有限，我們可以再拉一路低延時鏈路，這樣就變成了大家看到應用場景非常廣泛的雙向視頻通話。也就是，A有一個鏈路到B那邊，B也有一個鏈路到A這邊，延時都很低，A和B兩邊就可以溝通了（當然還要做好回音消除的工作）。

大家會說有雙路是不是也可以做多路呢？當然可以，只要手機性能扛得住，并行多路也是沒有問題，目前我們可以同時開啟8路小畫面，再高就不行了，手機性能可能扛不住。

但是有這個的話，其實我們會發(fā)現(xiàn)還不夠優(yōu)秀，我們其實還需要做一次延伸，將它跟Chrome瀏覽器打通。谷歌在收購了音視頻公司之后進行開源，這套技術(shù)在Chrome瀏覽器是有的，我們可以把這兩個鏈路通過遠端的協(xié)議模塊進行互通，這樣就可以做到微信上用小程序，但是在PC上可以用瀏覽器。這對于什么場景非常有用呢？對于企業(yè)的服務場景，尤其是視頻服務，對于客服人員是用PC但是對于有問題咨詢的用戶而言他們用微信就可以解決了。

大家可以看到，類似這樣的一些事情，如果真的要做成的話，除了像兩端的能力之外，我們還需要說在服務端做一些事情。比如說像大家打10086都需要排隊，很多時候告訴你坐席比較忙，主要是因為客服人員有限，客服人員有限我們就要有排隊系統(tǒng)。

再包括像醫(yī)院的場景，不僅僅是打通一個就可以，大家知道這醫(yī)生站在這里它要接很多單的，不是一個視頻聊天做完就搞定了，他要看客戶的滿意度，看客戶的病歷，這里面除了排隊系統(tǒng)還有病歷服務、建檔服務這樣一些事情，在審核里面周邊的工作還是要做的。我今天被拉過來，我們后面也會跟小程序的云開發(fā)進行深度合作來減少云開發(fā)的復雜度。

同時，過去一段時間，我們在音視頻質(zhì)量上也做了不少優(yōu)化，最新的微信版本中（目前尚未發(fā)布），在卡頓率上我們做了很大的改進，如上圖。

最后一分鐘說一下關(guān)于微信審核問題，我們和微信的團隊一起想了很多辦法來更好地解決國家的政策審核問題。騰訊云提供了1v1視頻通話插件和1vn直播插件，前者主要用于解決在線客服場景的需求，后者則主要用于電商直播。這兩款插件均有后臺的AI和人工審核團隊進行 7x24 小時的智能安全審核，所以政府部分同意授權(quán)使用這兩款插件的小程序可以使用微信小程序的音視頻能力。

此文已由騰訊云+社區(qū)在各渠道發(fā)布

獲取更多新鮮技術(shù)干貨，可以關(guān)注我們騰訊云技術(shù)社區(qū)-云加社區(qū)官方號及知乎機構(gòu)號