短期剛需還是未來趨勢? 聚焦音視頻技術發展方向
- 2020 年 3 月 26 日
- 筆記
特殊時期,音視頻在短期內成為了很多人的「剛需」:在線學習、遠程工作、聯繫親友等眾多場景下都離不開音視頻技術。那麼,音視頻究竟是短期剛需還是未來趨勢呢?本文是對雲加社區沙龍online「技術應變力」專題的壓軸採訪間的分享整理,邀請到騰訊雲視頻通信業務總經理李郁韜、學而思網校架構師&騰訊雲最具價值專家(TVP)劉連響作為嘉賓,LiveVideoStack聯合創始人&主編包研作為主持人,深度剖析音視頻技術發展。
引言
在 3月5日「雲加社區沙龍online」 的採訪間,LiveVideoStack主編包研作為活動的主持人,與騰訊雲視頻通信業務總經理李郁韜和學而思網校架構師劉連響就疫情下音視頻技術的發展分別給出了自己的看法。
特殊時期期間,業務指數級暴增和大量的新業務對接讓前幾周的大家都過的並不輕鬆,就這段時間的經歷,兩位老師分別做了簡單的總結,相信這也是大多數音視頻技術人員日常工作的縮影。
劉連響提到,學而思網校從春節到現在應該可以說是各種趕節奏,需要他們對多個項目進行同步支持,功能或者模塊的開發時間都被壓縮的非常短,基本一到兩天就要求交付。又因為是遠程辦公,所以處於全天工作的狀態。印象比較深刻的是做小程序直播的時候,整個項目從立項到上線只花了十幾個小時。
而騰訊雲除了要支持連響那邊一些緊急上線的新特性,還要支持很多其他行業中創新的應用,尤其一些醫療機構要短時間把業務搬到線上,很多時候都需要十幾小時完成上線。還有緊急支持一些大規模並發業務的拓展,目前大家在用的騰訊視頻會議就是在不斷拓展和優化架構後才得以實現今天的效果。另外兩位也都提到前幾個月業務的增長速度、節奏以及工作強度相比往常都非常誇張。
話題一:如何看待流量的頭部聚集效應?

包研:很多企業在復工後都採用遠程辦公的方式進行工作,但在使用視頻會議平台時卻出現了從未有過的卡頓,這樣的問題也從側面反映出全國人民都在使用視頻會議工具進行遠程辦公,所以短期之內視頻會議平台獲得了大量的用戶,但真正能轉化為收益的平台可能只有像騰訊、學而思這樣的頭部平台才能做到,該如何看待資源向頭部平台傾斜的現象?以及如何在保證用戶體驗的前提下做到快速上線?
李郁韜:這次疫情讓大家把工作都搬到線上,在許多傳統行業相當於把整個行業的線上化和數字化轉型的進程向前推進了1-3年。我在其中觀察到的現象是,包括學而思在內的一些在線培訓機構,他們很早就開始採用雲計算,將服務很早就部署在雲上,也有很多技術儲備,所以在面對這次疫情就可以很快地抓住機會。
但凡是之前沒有大規模公有雲計算部署的廠商,在面對這次疫情就很可能錯過一些機會,錯失這個真正面對客戶增長的井噴時期,由於服務沒辦法及時擴張,只能選擇流失掉這部分客戶。相反,一些用到公有雲的廠商可以利用彈性伸縮,不斷地利用通用服務擴展業務,而且它的增長非常平滑,能夠抵擋住每一波用戶增長的衝擊。能夠抗下這次危機也得益於騰訊在雲計算方面的資源投入,首先,短時間內的資源調配速度和能力是只有大型公有雲才可以做到的。
其次是雲產品標準化的程度,標準化程度越高才能做到幾萬台服務器一個模塊的快速上架擴容,最後需要與之配套的監控、自動化壓測和驗證體系,這三個條件都是缺一不可的。如果將此次事件放在五六年前,我想沒有任何一個廠商能夠扛得住這樣的衝擊。和在線教育方面,之前大家預想的是在5G爆發的時候才會催發,而這次疫情所導致的催化效應是大家都沒有預料到的。另外有一點我想說,這次的事件其實是把市場下沉了很多,由於遠程辦公以及在線教育的需求大增導致大家都會用到類似產品,這也讓更多的人最起碼知道了這個事情,整體的接受度變高。
劉連響:最近這兩天確實可以感覺到音視頻行業迎來了新一波的爆發,包括視頻會議應對用戶量突增等突發事件,不只需要在資源方面做儲備,比如在做架構設計時肯定要考慮到業務擴展能力,工夫還是要下在平時,比如快速迭代能力,團隊還是應該做一些刻意的訓練,這樣在真正面對需要快節奏支持的項目才不容易出問題。另外,就像李郁韜提到的整個資源要使用容易拓展的方案,這是我的想法。
話題二:視頻會議應用能否長久繁榮?

包研:這次疫情帶來的視頻會議應用爆髮式增長,到底是曇花一現,還是會長久繁榮下去?
李郁韜:從我的角度來看,這次疫情無疑加速了視頻會議應用的爆髮式增長,拿教育產品來說,之前我們與傳統教育行業溝通雲產品時會遇到一些阻力,因為傳統教育機構大多都會採購很多IT硬件設備,這其實是偏私有化的小範圍內部教育系統。在這次疫情之後大家都意識到,如果連學校都去不了,基礎設備再先進也沒用,因此他們會想在互聯網上也實現一套方案,來解決平時上課遇到的問題。在沒得選的情況下大家使用視頻會議或直播產品,久而久之會形成使用習慣,意識到直播所帶來的便利。另外,在線教育平台一定會藉此機會收穫大量新用戶,這些新用戶或多或少都會在平台留下一些資料,可能會留存下來或者去使用其他平台的雲產品,無形中將在線教育的用戶擴大了很多倍。
劉連響:我的觀點和李郁韜很像,雖然我們都知道在疫情過後,關於線上教育和視頻會議的關注度會有一定程度的回落,但大眾心理的接受度應該會提高。對於我自己來說還是蠻接受視頻會議這樣的方式,比方說在公司開會,最頭疼的是需要爬樓到會議室的樓層,還會面臨等電梯和搶會議室的現象,當大家有了在線會議這個概念後,對於日後習慣的養成還是非常有幫助的。我最近看到一份關於在線教育的調研數據,其中提到疫情之後在線教育的體量將會增加5倍以上,且不論數據的真實性,但增長的事實是可以肯定的。
話題三:在線教育存在哪些技術挑戰?

包研:傳統教育行業如果完全搬到線上我相信還是會有些技術挑戰的,尤其教育講究覆蓋全部學員,但如果使用線上產品,設備以及網絡環境都會影響教學質量,這其實有悖於教育行業的初衷,對於這個問題有什麼好的解決方案嗎?
劉連響:首先這個問題在直播應用出現之前其實就已經存在了,我們做了很多技術優化和方案就是為了解決這些用戶遇到的問題,但也需要事先講明白,這個問題沒辦法依靠一個方案徹底解決,但我們有很多調優和新的技術方案可以將受影響的用戶量變得更低。我最近也看到一種非純線上的教學模式,也就是線上線下結合的方案,這樣的方式在疫情結束之後可能會有更多的創新,可以在一定程度上解決某些教育行業無法做到完全線上的問題,這也是我目前比較感興趣的方向。
李郁韜:雲服務當前已經可以提供很全面的在線教育產品組合和解決方案,就像目前部分高校老師直播上課所遇到的問題一樣,除了早上上課之外還需要花時間將上課的視頻錄下來,提供給因網絡環境等問題沒有及時聽課的同學。如果是在騰訊雲上做直播的話可以自動錄製,這其實可以節省老師的工作時間,包括互動白板、在線答題和人員檢測,這些功能其實騰訊的產品目前都可以實現。
網絡相關問題可能更考驗各家實現音視頻服務的廠商,騰訊在音視頻領域耕耘了這麼多年已經積累了很多經驗和技術能力儲備,首先需要了解全國甚至全球網絡接入情況,需要了解每一個用戶背後網絡的特點。大家常規印象里WiFi應該是網速最快的,但在我們看來WiFi的網絡抖動和異常是最多的。第二,我們需要有一個全局的調度系統,能夠根據網絡接入情況進行實時調度。第三,網絡協議的優化,要在網絡抖動和時延方面做很多工作,這部分主要依靠長期的技術儲備,時間越長做的肯定會越好。第四,音視頻領域的增強處理,包括美顏、降噪等效果,這背後都有很多技術需要做,但大家可能感知不到。雲端部分就像我剛剛提到的,線上的內容可以實時錄製下來,並且有精確的時間戳對齊。
這次疫情其實是拉近了用戶、在線教育平台以及雲計算服務商之間的距離,讓大家彼此都了解對方能夠做什麼樣的事情,後續就是一些需求產品迭代和質量優化的過程,我相信未來一切都會變得更好。
話題四:音視頻行業未來創新會在哪裡?

包研:對於未來的音視頻行業還會在哪些方面有所創新?
劉連響:從我個人的經驗做判斷,首先WebRTC已經宣傳了很多年,但它還是存在着各種各樣的問題,雖然它是很好的技術,但同時也帶來了複雜性。一個技術不能說它好就可以去使用,而是由外在條件去決定它是否可以大規模使用,成本和技術升級都是要去評估的指標。另外,我們也在積極探索一些其他的技術,比如SRT,後續我們可能也會找一些場景進行測試,但對於技術一定需要一個時間周期。對於WebRTC今年我們會採用完全自建節點的方式,這其中我們也會和騰訊進行合作和打磨。
去年我還去關注了一些VR相關的產品,但更多還是偏向於遊戲場景的應用,在教育場景的應用還是相對薄弱。由於缺少生態支持和內容生產,包括設備的普及度都是制約VR發展的因素。但我們會保持對這些技術的關注,但距離實際應用可能還有很長的一段路要走。
另外,成本是一項必須要考慮的維度,一項新技術的誕生並不意味着我們需要立即將其投入使用,而是需要綜合多方維度評估考量。我們也希望WebRTC能早日降到和普通CDN一樣的價格,當然這也需要一個過程,長期來看兩者應該會在未來很長一段時間保持並存。
李郁韜:從騰訊的角度來講,未來規劃的技術路線還是比較清晰的,圍繞音視頻直播一定會有三個發展方向:更快、更便宜、更智能。
之前音視頻領域有兩大技術路線,一類是RTC,它主要用於滿足多人會議中的低延時互動,另一類是流媒體直播/點播,他主要滿足於對延時要求不大的高並發低成本場景。但技術發展到今天可以發現兩個技術路線在不斷地融合,做流媒體的人想用RTMP拉流的方式實現多人的連麥互動,做RTC的人不斷地擴大房間的人數上限,變得越來越像直播。
但其實在這背後的技術路線,WebRTC在其中扮演着非常重要的角色,WebRTC在中國之所以能夠再次發展很大一部分原因是它在2017年左右開始支持H.264的編解碼,在此之後各家廠商有可能在自己的CDN上支持WebRTC,也可以在自己RTC的服務上拓展WebRTC,未來可能在CDN上可以直接用低延時的直播方式。
比如騰訊去年在業界最早推出了快直播的解決方案,那就是在CDN上構建WebRTC的協議支持,在使用CDN服務的同時可以享受更低延時的體驗。在RTC部分,大家不斷通過SFU的架構體系來增加觀看人數,但無法避免會有H5或者Web端的用戶觀看,之前的做法是旁路推流到CDN,提供給Web端的用戶觀看,這部分的體驗是很差的。如今各廠商將WebRTC融合後可以發現,兩邊的用戶體驗對齊,都可以實現低延時的觀看體驗。
騰訊的TRTC就是很典型的產品,把本身標準的App端native RTC協議又做了WebRTC的支持,保障用戶從H5或者Web端觀看可以有相同的體驗,在未來這樣的趨勢一定會加快,未來的用戶很有可能會有三套分層的體驗:低延時(RTC)、中間層(WebRTC+CDN)、更低延時/大並發/低成本(標準流媒體CDN),這三者組合起來可以滿足大部分場景。做直播的帶寬成本一定是非常貴的,比較小的廠家由於追求質量和快速上線只能採用BGP帶寬,有條件的廠商可以採用三網的帶寬或者單線的帶寬,成本會相對低一些,但其實他們都會想採用CDN成本的體系,在未來如果WebRTC和CDN結合之後,成本可能會進一步的降低。
剛剛提到的視頻會議紀要和上課點名,這些背後都可以用到AI技術,還有在直播結束之後如何能夠將視頻智能剪輯後上傳,這也是有非常大需求的場景。騰訊還有一款產品叫騰訊雲剪,我們也會圍繞這個場景把更智能的剪輯方式帶到視頻雲的服務里。
Q&A
Q:對於在線教育,由於視頻量大的原因,未來會大量使用軟件編碼器還是硬件編碼器呢?
李郁韜:在我看來,未來很長一段時間會採用軟硬編解碼結合的方式。我們開始去實踐的時候可能會選擇軟件編碼來更靈活的實現,但軟件編碼在雲端可能會帶來很大的技術開銷,那麼硬件廠商就會嘗試硬件介入編碼過程。未來那些對成本較為敏感的編碼過程將會採用硬件解決方案,而那些成本壓力較小的編碼過程則繼續採用軟件編碼,從而得到更好的效果。從這個角度來看,軟件編碼與硬件編碼二者應該是長期並存的。
Q:疫情是一次偶然事件,並且是有時間限制的。作為騰訊這樣的大平台,在疫情結束後會採用什麼樣的策略讓人們保持對在線平台的需求?
李郁韜:我們在疫情期間對平台進行了及時有效的彈性擴容,這種擴容主要利用的是雲計算中彈性伸縮的資源。疫情結束後也許騰訊會議、騰訊課堂等產品的需求會出現一定程度的下滑,我們會將多餘出來的空閑服務器出售給其他需要雲計算資源的公司企業,以維持這一部分算力資源的有效合理利用,而目標群體則會是那些在疫情期間需求量不是那麼大的行業。
Q:請老師推薦一些音視頻和直播方面的技術書籍或資料?
劉連響:Github或者劉岐/趙文傑著的《FFmpeg從入門到精通》都是不錯的選擇,另外多看看源碼並着手實踐也會對自己有很大的提升。
Q:電子白板是什麼原理?有哪些行業標準和開源實現或技術棧?
劉連響:電子白板實際上有很多實踐,比如基於Web端的實踐很多都是基於Canavas來實現,包括繪圖等功能,實際上過於複雜的場景需要根據業務對開源平台進行一些二次加工;還有一種是我們期望有更好的性能而自己研發的一套渲染庫,但基於CPU的繪圖其性能並不出色,所以我們基於GPU做了一套自己的解決方案;第三種是我比較看好並且也想去嘗試的,如果視頻的延時足夠低,那麼我們就可以將其作為白板——其實我們內部也去做了一些嘗試,比如說把雲桌面當成一個白板,只要延時足夠低例如一百毫秒或者幾十毫秒級別,那麼即可實現白板的效果。儘管在用戶網絡質量不佳的情況下還是會有一些問題,但這也不失為一種方向。
Q:最近幾年普通公司還有必要做直播這些技術嗎?大的雲廠商都在提供這些能力,公司還有必要自建平台嗎?對於相關方向的程序員有什麼建議?
李郁韜:我個人不建議公司自建平台,真的是沒必要了。我們現在看到不管多大的平台都是在雲上做直播,未來大家可以更多關注一些直播之上的業務實現,以及怎麼根據直播的業務需求選擇低延時、中等延時或更長延時,再根據業務場景合理分配服務資源。
Q:現在視頻內容越來越多,獨立的軟件編碼器公司有發展的機會么?還是大廠已經壟斷了市場?
李郁韜:獨立的軟件編碼公司一直都會有生存空間,為什麼這麼講?縱覽編解碼的發展我們可以總結出規律——基本上3-5年,最多7-8年會出現一次編解碼器的迭代,比如AV1之後有AV2,H.265之後有VVC乃至國家標準AV3,都處於不斷發展的狀態。一旦有新的編解碼規範誕生,首先會經歷一段時間推廣期,這也是編解碼器不斷成熟的時間,因為剛出來的編解碼器一定達不到其所宣稱的編解碼性能。而這一段時間也是大量的軟件編解碼公司集中優勢力量,針對新的編解碼規範在短期內實現極致優化的絕佳窗口期,並能實現非常高的性能。這些企業就是通過該途徑,把優質解決方案賣給大廠商以實現自己的價值,每次迭代往複循環。所以軟件編解碼公司是會一直且長期存在的。
Q:騰訊雲剪個人可以用么?
李郁韜:騰訊雲剪(Cloud Media Editor,CME) 是騰訊雲提供的雲端視頻剪輯服務,為媒體平台、PGC/UPGC、MCN、直播平台以及電競內容等內容製作者和機構提供半專業級的視頻處理服務,主要包含在線視頻編輯、AI 智能剪輯、直播剪輯和素材庫4個功能,滿足內容製作者的視頻編輯需求。目前騰訊雲剪正處於內測階段,很快就可以開放給個人內測使用。
Q:以後雲遊戲會是發展的方向嗎?谷歌的平台跟國內的一些運營商都在向這個方向努力,目前制約雲遊戲發展的瓶頸在哪裡?李郁韜:雲遊戲一定是未來的發展方向,可能不僅是大家傳統印象里把家用主機搬到雲上這麼簡單。在我看來,未來可能出現的更大趨勢是遊戲業態的顛覆革命。大家都看過電影《頭號玩家》,這就是未來可期的雲遊戲場景。現在制約雲遊戲發展的更多還是成本,因為雲遊戲對帶寬的消耗還有計算資源的消耗實在是太大了。
Q:疫情期間除了Mesh的企業小型會議,WebRTC在Mesh/MCU/SFU等架構下,大型用戶依然覺得視頻會議性能體驗有不足。在未來5G條件下,隨着接入時延、單位公里連接數、空口接入速度大幅升級外,是否能預見視頻會議能比現在網絡環境下有更好的提升空間?
李郁韜:網絡更好、帶寬更大肯定會對視頻會議產生積極影響。但據我觀察,現在的雲視頻會議廠商當中其實大部分都還是在採用SFU架構,盡量減少在雲端進行視頻處理,能夠更快地把音視頻流能夠傳輸到用戶端。中間會採用很多SVC的形式來實現擴展,能讓不同網絡支持不同的視頻,這也是未來的一大趨勢。
Q:5G時代音視頻在技術上會有哪些挑戰?
李郁韜:我覺得主要還是怎麼去用好5G網絡,因為5G網絡具有高帶寬、低延時的特性,過渡階段只是高帶寬但延時並不會太低。我們需要考慮怎麼去用好5G網絡的特性來將音視頻通信發揮到極致,包括現在的許多流控算法與策略都需要做出調整,從而更極致地去利用帶寬;第二點是,由於5G的頻譜問題,未來信號源與基站的切換會更頻繁,我想這也是未來亟需優化的一項重點命題。
Q:音視頻技術的除了應用在教育、直播這些常用場景,幾位老師認為還有哪些場景會成為未來趨勢的?
劉連響:直播會與很多行業很多產品進行結合,例如疫情期間的快直播,全網圍觀火神山醫院建設等。
李郁韜:還有就是遠程醫療,從這次疫情我們就可以體會到這是一個非常剛需的場景,包括很多在線醫療機構與教育機構其實也在用騰訊雲來構建疫情期間的心理輔導,能夠在疫情期間解決很多人的心理疾病,這是我們這段時間做的比較多的一件事情。除此之外還有在線問診,復工之後很多線下醫療機構的醫生沒有辦法在線下有效響應患者,那麼就可以通過線上問診這樣的小程序來滿足醫生遠程問診需求。當然,還有一類是金融。金融行業是比較典型的,例如這次金融行業復工之後你會發現包括基金、銀行還有保險在內的各類金融機構都把培訓搬到線上了,同時騰訊也即將推出針對金融面簽、雙錄的音視頻解決方案,使得疫情期間,消費者不需要去銀行即可辦理三類戶的開戶或其它一些需要面簽的業務,這裡還有非常多的可能性。一些政府機關也可以通過線上辦事簡化流程避免線下人員流動,例如市民可通過小程序輕鬆辦理政務事宜,可以說這些場景的前景十分廣闊。
劉連響:我稍微補充一下,其實視頻就是一個操作界面,那麼未來雲電腦就是一個操作實時傳輸的視頻內容。我們將該應用向外拓展,可以開發一系列企業級應用,通過本地傳輸信令,服務端把信息渲染並在遠端呈現出來,就可實現不帶電腦遠程操作計算機,實現編程等高級電腦操作。
Q:我最近在調研WebRTC的情況,在PC上的瀏覽器中,支持還是比較完善的。但是發現移動端上的瀏覽器支持情況非常不好,想請教一下老師,對未來移動端上的WebRTC的前景怎麼看?
劉連響:WebRTC在移動端的確存在瀏覽器支持情況不好的現象,在 Android端尤其明顯,因為每個廠商所使用的定製瀏覽器可能都不一樣,包括也有對H.264支持不好的問題。我覺得這還是需要整個行業的推動,現在整個移動端的瀏覽器可能沒有做太多針對WebRTC的兼容,這也需要等待整個生態足夠完善之後才會去做一些優化;另外,相對於瀏覽器,移動端也可以通過像小程序這樣的平台,基於WebRTC模式來實現實時互動,所以生態的建設是前提條件。
Q:音視頻如何偏遠山區有更好的體驗(他們的網絡條件不是很好)?如何更好的適應企業視頻會議,在線授課?相比其他的系統,騰訊有哪些優劣勢?
李郁韜:騰訊的優勢可能還是產品普及度比較高,因為現在消費者基本都會用到騰訊的產品。其實大部分偏遠山區的網絡沒有想像的那麼差,運營商會給一些偏遠地區單獨建造移動基站,我們發現偏遠山區的在線教育用戶,其中絕大部分都使用手機或平板等移動終端設備,我們需要做的是儘可能將產品服務做的足夠輕量化,以求儘可能覆蓋到這些條件欠缺的用戶。
Q:公司內自有RTC的系統,如果想在微信小程序中使用TRTC和公司自有RTC互通,請問如何實現?
李郁韜:如果這是一套標準的WebRTC系統,那麼你可以通過簡單的轉碼實現互通,但如果這是完全自研則無法實現。微信小程序支持標準RTMP推拉流,你可以嘗試通過轉碼把WebRTC與RTMP進行協議轉換,即可實現互通。
Q:WebRTC使用起來是很方便,但是如果想真正的深入如何入手?WebRTC在手機端的應用,如何能做到類似於AirPlay的效果?
劉連響:如果只是簡單調用API難度不大,但如果想實現大規模產品化確實有一個不小的門檻。我們會不斷熟悉WebRTC的源碼並不斷嘗試,按照我們的期待性能與結果進行調優。比如前期你可以嘗試優化上層或從應用層來解決一些自定義等問題;還有一種方案就是從硬件上來解決,這需要你對系統有足夠多的了解,並嘗試向更底層作出一些適配,包括一些預測算法、網絡丟包補償、與服務端建立交互、處理NACK、平衡抗丟包性能、模塊化等等。WebRTC的代碼倉庫非常龐大,可能確實需要你花不少時間學習,不光是一些音視頻相關知識,也可能需要一些偏數學或算法的東西,我覺得這是一個分層級循序漸進且根據業務不斷調優的過程。
在之前的黑客馬拉松上我們曾嘗試過類似的命題,使用WebRTC還是沒有辦法與Airplay完全對等,因為二者的實現機制不一樣。Airplay是一個系統級別的東西,而WebRTC則可通過內網實現遠端投屏,二者不是同一類技術,但是可以實現類似的效果。
Q:大神怎麼看現有瀏覽器對WebRTC的適配?
劉連響:隨着Chrome的市場份額越來越高,WebRTC的適配也越來越廣泛,開發者適配的壓力也越來越小,而不同版本Chrome適配WebRTC時也會存在一些不同。官方提供了適配方案,而開發者需要了解不同版本瀏覽器,包括SDP等在內的差異點,這也需要一個循序漸進的過程,似乎沒有什麼捷徑。
Q:請問,低時延大班課未來是否發展會比小班課更大,更有空間?
劉連響:低時延的大班課已經成為市場趨勢。比如頭部機構其實更多的還是採用大班模式,這種商業模式已經被檢驗是成立的。
Q:視頻卡頓和延時這方面除了NACK,FEC之外還有其他什麼方式嗎
劉連響:其實卡頓不止有NACK與FEC,舉個簡單的例子,我們遇到在WebRTC中判斷碼率比較低從而降低幀率,如果降幀率比較激進那麼就會造成卡頓,實際上此時完全可以通過一些參數上的調優來改善。我們認為WebRTC中的一些算法過於激進,在一些特殊情況下會將幀率一下降低到幾幀,就會使得畫面出現卡頓。除此之外,還有SVC和帶寬探測等技術都可以進行調優。
而在播放端我們更多是針對緩存進行調優,也就是用延遲來換取更加流暢的視頻播放體驗。不一定只限於NACK或FEC之上。NACK已經足夠優秀而FEC則有利有弊,如果FEC沒有用好則會造成帶寬的佔用,反而讓情況更糟糕。
Q:在測試直播在各種場景的性能和調優的時候有什麼好的工具推薦?
劉連響:測試直播在各種場景的性能主要通過進行一些壓測,調優則主要藉助火焰圖等開源工具,知道CPU的瓶頸在哪裡。同時在測試網絡時我們也使用了網損儀,因為每個平台一些模擬抗丟包工具並不是那麼準確,有時候可能會產生一些誤差。在RTMP中會有一些統一的工具,但WebRTC確實現在還沒有一個統一的壓測工具,更多還是根據信令符寫代碼。
Q:騰訊小程序怎樣嵌入自建WebRTC應用?
李郁韜:微信小程序現在還不支持嵌入自建WebRTC,微信小程序已經支持了實時音視頻,可以直接使用。未來有可能依賴微信的瀏覽器內核在微信內嵌的H5上支持WebRTC。未來我們將主要解決WebRTC的一些兼容性問題,屆時用戶會有兩個選擇,一個是小程序的音視頻,另一個是H5的音視頻。
關注云加社區公眾號,回復「技術沙龍」,獲取更多沙龍學習資料~
