從雲原生到智能化，深度解讀行業首個「視頻直播技術最佳實踐圖譜」
在2022阿里雲直播峰會上，多位直播產業領域技術專家與行業先行者，共同探討超視頻化時代視頻直播技術的演進趨勢與未來發展。會上，阿里雲重磅發佈了行業首個「視頻直播技術最佳實踐圖譜」，將直播技術歸納總結為7點：雲原生、高可靠、低延時、超高清、智能化、專業性及多場景，本文將對「視頻直播技術最佳實踐圖譜」進行深度解讀。
視頻直播的趨勢就是極致降低延時，其包含傳輸延時和計算延時。
談到延時，大眾對於延時的理解主要集中在傳輸延時上，依據視頻的延時，可以將視頻分成點播、直播、連麥互動、實時互動等。
-
當傳輸的延時在3-10秒，這樣的視頻具備可廣播的屬性，如：體育賽事直播；
-
當傳輸的延時在250-800毫秒之間，可進行溝通、互動，如：互動課堂連麥等；
-
當傳輸的延時降低至50-80毫秒，此時視頻便具有可操控性和沉浸感，如：雲實時3D渲染、遠程視頻操控……
除了傳輸延時，視頻的編解碼、高清化等技術的計算也會帶來算力的延時。緊隨直播的趨勢，如何能將傳輸延時和計算延時不斷降低，為更多直播場景帶來技術支撐及想像空間？
阿里雲的直播技術基於雲原生的底座和分佈式邊緣節點，通過對傳輸協議的改造，融合實時媒體處理能力與邊緣算力，能夠大幅有效降低傳輸延時與計算延時，並通過全球實時流媒體傳輸網絡GRTN（Global Real-time Transport Network）、超低延時直播服務RTS（Real-time Streaming）、實時媒體處理能力、視頻+AI等技術應用，完成低延時的最佳實踐，實現成本與體驗的最佳平衡，在帶來眾多通用直播解決方案的同時，也衍生出眾多場景化解決方案。
本次峰會發佈的行業首個「視頻直播技術最佳實踐圖譜」，是經過阿里雲多年的直播技術探索與實踐沉澱而來的，歸納總結為7大點：雲原生、高可靠、低延時、超高清、智能化、專業性及多場景。
雲原生
視頻技術就是雲原生的最佳實踐。
阿里雲所倡導的雲原生主要有三點：「產品的服務化」，「隨意的彈性」，「軟硬一體、雲邊一體、雲端一體」，而視頻技術恰恰就是雲原生的最佳實踐。
雲的基礎設施，包括中心節點、邊緣節點、CDN網絡是保障大規模分發和傳輸的基礎；雲原生的軟硬一體，能支持CPU/GPU/FPGA/ASIC等多種軟硬件異構方案；雲與端的緊密協同和算力分配，能實現雲、移動端、Web端、PC端渲染效果一致。
除此之外，雲原生的時間、空間、異構彈性，不僅能支持數十種業務混跑，雲邊端計算量化靈活調整，還能實現100+種實時傳輸、媒體處理、AI任務多機型異構混跑，給視頻業務帶來無限的算力的同時將資源充分有效利用起來，大幅降低成本，衍生出更多新場景。
高可靠
熱點視頻有千萬級的實時並發，高可靠是最基本的要求。
視頻直播技術需要高可靠，尤其是熱點視頻往往會帶來百萬、千萬級的並發，此時高可靠是最基本的要求。阿里雲的視頻技術高可靠主要體現兩方面，一是在架構上擁有全鏈路日誌/監測/報警/預測和高可靠、多副本的秒級切換，能實現智能自動化運維和接入網絡秒級信息排查，帶來跨中心逃逸能力及容災服務保障。
高可靠的第二個方面，體現在對弱網體驗的提升。阿里雲獨有的QoS技術，能對帶寬進行精準預測，大幅提升帶寬利用率和擁塞控制能力，同時結合編碼器的弱網感知和抗丟包技術，能在70%的丟包狀態下仍達到較高清晰度和流暢性。基於深度學習的智能語音丟包補償，能提升弱網狀態下的音頻清晰度，而麥上麥下延遲敏感自適應技術，能在多場景下實現音頻流暢性和通話延遲的平衡。QoS技術能識別和動態適配如：丟包、延時等多種網絡場景，大大提升終端用戶對業務性能的音視頻主觀感受。
低延時
GRTN打造最佳流媒體實踐場景。
延時指的是主播端的畫面傳遞到用戶屏幕所耗費的時間，當排除網絡、碼流、設備性能的情況下，在不同的直播場景中選用合適的直播流協議，能大大降低直播的延時。回顧直播的歷史，也是直播協議的歷史，主流的協議有耳熟能詳的HLS、DASH、RTMP等，延時普遍在5s以上，在強互動的需求下，直播協議也在不斷向低延時轉化，比如：SRT、LL-HLS等。
阿里雲在低延時上的最佳實踐，主要在兩個方面。一是在網絡層面，將傳統的CDN內容分髮網絡改造成GRTN全球實時傳輸網，其定位是基於中心雲和邊緣雲的異構節點，構建超低延時、全分佈式下沉的通信級流媒體傳輸網絡。
GRTN目前融合了互聯網直播和RTC等多種業務場景的音視頻流傳輸和交換，並具有眾多其他核心技術，如：GRTN構建的雙向的實時信令網能夠做到切網消息的毫秒級傳遞，當有一個發佈端的媒體流發生網絡切換後，訂閱的客戶端對GRTN內部發生的切換行為是完全無感知的。
二是在這「一張網」上，阿里雲打造了超低延時直播服務RTS（Real-Time Streaming）。基於GRTN的短延時直播RTS可以支持標準H5 WebRTC推播，在千萬級並發情況下延時可以控制在1s以內；RTC端到端延時可以控制在250ms左右。觀看下方RTS和RTMP的直播協議的對比視頻，可以發現在有一定丟包率的情況下，RTS在體驗、流暢度和色彩上都相對RTMP有明顯的優勢。
RTS與RTMP延遲對比視頻
超高清
成本與體驗的最佳調和，帶來更沉浸、更極致的音視頻體驗。
關於超高清在視頻直播技術中的實踐，阿里雲自研的s265編碼技術能實現高畫質低碼率，並支持4K實時編碼；支持AV1編碼，較HEVC節省25%以上的碼率。大眾熟知的「窄帶高清」技術，窄高1.0對多場景進行優化，通過RIO和JND智能編碼節約碼率，窄高2.0自適應視頻降噪和內容修復，通過色彩和紋理增強提升人眼主觀畫質，帶來體驗和成本的最佳調和。
與此同時，阿里雲在直播技術上還對採集編碼傳輸鏈路進行優化，全鏈路支持4K和8K。在工程上，通過各類算法對幀率、碼率、分辨率、色彩等各維度進行提升，無論是老片、瑕疵、人像、還是動畫場景，都能進行修復帶來超高清的體驗。
除了在雲端對視頻進行處理，還能在端側進行超分插幀、降噪、色彩增強等，即使是非HDR的設備，通過色彩增強SDR+技術，也能實現端側一致的超高清體驗。
端側超高清對比
色彩增強SDR+技術
智能化
在超視頻化時代，音視頻的智能化是一大趨勢。
深度學習能帶來各類AI能力的提升，在視頻實踐上是最好的一個出口。在智能化方面，阿里雲的視頻直播技術，除了傳統的智能配音、智能拆條、智能集錦，還能對音視頻內容實時審核，針對黃反暴恐廣告實現精準識別，節省了大量的人工甄別成本。
經過訓練的虛擬人技術，支持3D頭像、Live2D、風格化遷移、虛擬主播等，帶來更多XR技術的演進。此外，「智能化」還體現在音頻體驗上，基於深度學習技術與傳統信號處理有機結合的3A技術，能實現智能降噪、突出人聲、無損音樂，並可以廣泛應用於各類實時場景。智能語音超分技術，在小模型的情況下仍可保持高音質，這些都是AI與視頻結合帶來的效果。
「智能降噪」的多場景體驗
專業性
專業性，讓直播逐漸演變成「智播」。
阿里雲對於直播技術的專業性體現在多碼率、多協議、內容保護和實時製作上，直播逐漸演變為「智播」。值得一提的是，在實時製作方面，阿里雲將傳統導播台雲端再造，融合實時翻譯、圖文包裝、動態標籤、廣告替換等導播創新能力，兼顧直播專業性與遠程導播優勢。
同時，基於多路實時實景摳像，阿里雲還曾將「虛擬演播室」搬到冬奧現場。阿里雲的「雲導播」技術，不僅支持多種設備、多機位、異地開播，還能夠實現雙屏、分屏、畫中畫等開播場景，最大程度貼近直播需求。
互動虛擬演播室助力冬奧
阿里雲在直播技術上的專業性結合「雲導播」豐富的節目製作形式、更低的成本，能夠廣泛應用到廣電新媒體、賽事直播、活動直播、商業直播等場景中，幫助客戶打破業務瓶頸，更快更好地開展業務。
《這！就是街舞》雲導播+幀級別多視角同步
多場景
「直播+」已成為一種趨勢，滲透到各個場景。
從場景來看，直播從最早的大型文體直播、電商直播、遊戲直播逐漸滲透到企業培訓、在線教育、廣電新媒體場景。阿里雲將直播、點播、在線會議的各種算法能力都集成到同一個SDK裏面，實現多場景融合的同時，一體化SDK還能按需打包實現靈活的自定義。
從傳統的SDK接入、API接入到「低代碼直播樣板間」，阿里雲直播針對電商直播、在線教育、企業直播等提供一站式接入的場景方案，通過簡單的三步對接和十幾行代碼，讓客戶輕鬆接入直播的體驗，助力業務的發展。
當前，直播業務已成為數字化社會服務的重要組成部分，越來越多的內容與產業轉向「直播+」模式，直播技術發展的未來圖景隨着市場需求變化更加清晰。
「視頻直播技術最佳實踐圖譜」正是基於阿里雲在直播技術上多年的探索和最佳實踐，從直播技術的核心，到直播的全場景覆蓋，再到直播技術創新與應用，助力企業深度理解「直播」，打破技術壁壘，攜手各行各業在萬物互聯的浪潮中不斷更迭與前行。
「視頻雲技術」你最值得關注的音視頻技術公眾號，每周推送來自阿里雲一線的實踐技術文章，在這裡與音視頻領域一流工程師交流切磋。公眾號後台回復【技術】可加入阿里雲視頻雲產品技術交流群，和業內大咖一起探討音視頻技術，獲取更多行業最新信息。
