阿里雲視頻雲互動虛擬技術,打造虛擬直播最佳沉浸式體驗

app展示圖.jpg

2022是「體育超級大年」,冬奧會、亞運會、大運會、世界盃等各類大型體育賽事貫穿全年。由於受到疫情管控和物理空間的限制,賽事直播至關重要,觀眾體驗需求也在不斷升級。

於此,企業對直播服務要求越來越高,視頻直播技術創新顯得格外關鍵。隨之而來,如何利用直播技術降低線下部署導播台的成本、如何提供靈活及場景化的能力、如何確保線上內容傳輸安全穩定,成為許多直播類企業客戶的關注點。

為了帶來更好的直播體驗,阿里雲對視頻直播產品進行重磅升級,打造一站式沉浸體驗的雲上虛擬直播間服務。

基於邊緣推流、窄帶高清轉碼、雲上導播、全域邊緣節點分發等技術能力,通過全鏈路災備與應急預案等保障手段,提供高可靠、高品質、低延時的直播服務,為大型賽事與活動提供保駕護航的能力。並在此基礎上,聚焦打造雲端一體化的虛擬演播廳能力,為觀眾端塑造沉浸式直播體驗。

1台電腦+2部手機:開啟虛擬直播間

阿里雲視頻雲的雲端互動虛擬演播廳,提供了行業首創全鏈路雲端實景摳像與虛擬背景合成能力,實現實時互動+導播的完整方案,通過手機APP,即可簡單開播,讓使用門檻大幅降低,為遠程採訪、異地互動、虛擬實時製作等場景,打造富有沉浸感的、達到廣電級的演播體驗。

image.png

全新算法引擎,隨時隨地異地互動開播

目前,演播廳常用的摳圖技術大多與綠幕摳圖相關。但綠幕摳圖存在幾個弊端:首先要專門搭建綠幕演播廳或者是綠幕設備,應用場景受限;同時,為了保證綠幕摳圖的最佳效果,還需要加裝燈光設備進行調試,甚至需要有拍攝經驗的操作者進行提前的布景。

阿里雲視頻雲利用AI技術創新對虛擬演播廳的技術方案進行了全面的升級,首次採用了實景預設背景摳像、多機位切換+實時摳像、最高6路摳像源+摳像合成處理等技術方案。從而,通過雲端的多路實時實景摳像、虛擬背景生成與實時動態渲染技術,有效解決了主播與嘉賓不在同一空間,以及現場環境受限無法進行專業演播的痛點,將身處在不同地方的人合成到任意演播廳,即便身處千里之外,也能透過虛擬演播技術,體驗沉浸於同一空間的互動感。

截屏2022-04-24 上午10.35.08 (2).png

廣電級水準的精細、穩定、專業

為了對標廣電級別的節目規格,阿里雲視頻雲技術團隊嘗試了多種算法以及工程模型,解決了實景扣像邊緣粗糙、抖動等問題,摳像效果精細到人物真實細膩的效果,大大提升實景摳像的效果,也促進了產品的可應用性,打破了行業實景摳像的壁壘。

同時,也提升了超長時間直播的穩定性能,包括超長時間連麥的穩定性、摳像的穩定性、音視頻互動、APP性能、全方位的滿足異地多人多場景以及超長時間的連麥和直播需求。在各種採訪環境不可控的雜亂背景下,阿里雲虛擬演播廳技術均可以處理實現最佳的成像效果,摳像效果精細到髮絲。

不僅如此,對於複雜的多場景,比如單人切換、雙人遠景切換、近景直播中插入電片廣告等,實現了無線無縫的切換,真正的達到了廣電級級別的節目製作水準及行業領先的水平。

截屏2022-04-24 上午10.37.17 (2).png

打通RTC與GRTN,真正實現實時互動演播

除此之外,阿里雲還打通了音視頻通信RTC以及全球音視頻實時傳輸網絡GRTN,將多機位、多視角同步直播的技術能力與RTC實時連麥、異地開播等能力進行結合,為用戶提供了簡單穩定的連線功能,真正地實現了互動虛擬演播的能力。

目前,阿里雲導播台支持最多12路的輸入源,同時六路的摳像合成,支持自定義的背景圖,支持對於摳像對象的位置和大小直接進行拖拽設置,支持只保留音頻的監聽模式,支持布局圖層順序調整,只需要通過簡單的兩三步配置即可完成快速開播。

截屏2022-04-24 上午10.38.55 (2).png

首家「端雲無縫銜接」的導播平台

虛擬演播廳也提供了多種產品使用方案。在阿里雲登錄直播控制台,即可以開箱即用可視化的配置和開播,可以實時的製作播出監看,調整直播內容。

本地與線上一鍵同步,無需開發介入,適合各種運營和業務團隊的使用。此外,還可以基於完善的API服務,按需調用封裝自己的直播業務系統。雲導播還提供了帶有控制台前端頁面的完整WebSDK,可以直接嵌套集成,節省開發成本,幫助提供整套直播解決方案。

通過互動虛擬演播廳採訪任務,僅需要兩部手機加一台電腦,即可以隨時隨地的展開直播與轉播,同時也讓觀眾們可以在第一時間體驗到了更具有沉浸感的播報視感。

專業直播重保:讓直播服務更穩

隨着直播用戶增長,各平台都開始精細化運營,而保證百萬量級以上並發直播活動的高可靠、高品質是各直播平台急需解決的問題。

阿里雲擁有遍布全球2800+CDN節點,150+T帶寬,9大直播中心,支持海外業務無縫布局,通過阿里雲搭建的全球實時音視頻通信網(GRTN),全世界各地的直播流可實現就近接入,通過高速通道快速傳輸至指定直播中心進行內容分發。

阿里雲直播重保方案包含全鏈路穩定方案、全鏈路防盜鏈方案、千萬級並發調度方案、全鏈路監控方案、全量鏈路監控方案。

截屏2022-04-24 上午10.48.33 (2).png

對於一個重要的直播活動,為了保證推流或源站的高可用穩定,推薦使用兩個推流端,分兩路推到直播中心並做一次合成,合成之後再進行處理轉碼及分發,避免推流端的單點風險以及推流網絡單點風險。

截屏2022-04-24 上午10.49.07 (2).png

視頻直播支持訪問控制,如Refer UA黑白名單、IP黑白名單等,雖可做到基礎防護,但是偽造也比較容易,而該加密方法擁有獨立加密密鑰,避免單一密鑰泄密引起大範圍的安全問題,支持加密轉碼+解密播放,動態密鑰管理更安全地保護視頻資源,可有效防止視頻泄露和盜鏈問題,實現大型賽事直播版權視頻內容搬運侵權的取證、溯源和追責。

截屏2022-04-24 上午10.50.39 (2).png

對於千萬級並發的直播帶寬抖動是非常大的。以往年世界盃直播為例,上下半場之間有中場休息時間,畫面比較簡單,通過阿里雲的窄帶高清技術在進行傳輸時帶寬只有峰值的三分之一或四分之一,當下半場開始時,大量用戶快速湧入直播間,帶寬瞬間回到峰值。短短一分鐘內,帶寬增長几個T或十幾個T。

這樣場景下的調度風險是非常大的。如何來規避這個風險呢?調度方式有三種:DNS調度、302調度,HTTPDNS調度。綜合起來最好的是HTTPDNS調度,它反應速度非常快,而且也不存在那個首屏的影響,需要客戶端這些做一些接入。同時,阿里雲還會提前智能預測需要帶寬趨勢,提前分配好資源,做好大型活動賽事優先級保障,能夠非常有效的防止T級帶寬突髮帶來的風險。

截屏2022-04-24 上午10.51.07 (2).png

在直播護航過程中,專人在後台提供全程服務保障以及全鏈路服務監控,從推流開始到最終播放的整個鏈路的情況,包括幀率、碼率以及全網帶寬壓力情況。針對特別重大活動,阿里雲還會定製類似右側的大屏,對於每一路直播流,都會用紅綠燈的方式顯示通斷情況,便於迅速發現哪一路流出現了問題,也可以具體觀看幀率、碼率以及在線的用戶數。

截屏2022-04-24 上午10.51.44 (2).png

為了看到視頻直播數據信息,阿里雲提供了廣目系統,該把客戶直播的幾路直播,無論是原始流,還是轉碼流,合併成一路監控流進行監控。整個監控可以分成四屏、八屏或十二屏來實現一個盯屏畫面。如果幀率抖動,碼率異常,以及音視頻的同步異常,或卡頓這種情況出現的時候,會進行實時報警。

阿里雲直播重保方案,提供全鏈路的安全穩定保障,提供高質量的直播服務,讓直播更流暢、賽事更精彩、活動更安全。

直播服務再升級:大型賽事實力驗證

阿里雲視頻直播服務,依託遍布全球的2800多個CDN節點以及150+TB商用帶寬能力,低延遲、高並發,保證賽事畫面從源頭穩定分發到終端;基於自研的窄帶高清轉碼技術,降低傳輸碼率,節省帶寬,實現直播更高清、更流暢;同時,端到端、場景化的優勢,可滿足不同場景下的需求,極大降低企業開發門檻,助力業務快速上線。

近期的產品升級發佈會,展示了阿里雲視頻直播所重磅升級的兩大能力:虛擬直播間服務與直播重保服務,不僅提供了行業首創全鏈路雲端實景摳像與虛擬背景合成能力,也通過全鏈路災備與應急預案等保障手段,為重要活動、體育賽事、演唱會等大型在線直播場景提供高可靠、高品質、低延時的直播服務。

從去年至今,阿里雲的互動虛擬演播廳方案已被廣泛應用到國內各類賽事活動直播中,在東京奧運會奧運村現場,身處東京的阿里雲國際體育事業部代表便曾通過阿里雲視頻雲的虛擬演播廳、實時字幕等能力,與身處馬來西亞、美國、中國等多地的合作夥伴完成了直播連線及雲簽約儀式。

而在2022年的北京冬奧會上,「虛擬演播廳」在CGTN在北京冬奧會的記者連線報道中充分應用,全程助力媒體實現全鏈路的制播上雲,為傳統新聞節目製作創造了全新場景,打造了奧運賽事報道的沉浸式體驗。

東京奧運會虛擬演播廳

能力升級後的一站式虛擬直播,技術更具前瞻性,效果更為精細化,互動更享沉浸感,場景更具豐富性。阿里雲基於各類頂級賽事和重大活動的直播業務驗證,沉澱了深厚的活動賽事直播重保經驗,以靈活易用的虛擬直播間和穩定可靠的深度保障,不斷創新行業應用場景,為客戶創造新的價值空間。


「視頻雲技術」你最值得關注的音視頻技術公眾號,每周推送來自阿里雲一線的實踐技術文章,在這裡與音視頻領域一流工程師交流切磋。公眾號後台回復【技術】可加入阿里雲視頻雲產品技術交流群,和業內大咖一起探討音視頻技術,獲取更多行業最新信息。