優酷超高清視頻技術實踐

• 2019 年 10 月 7 日
• 筆記

經過多年的技術發展，目前互聯網視頻的觀看視頻體驗仍然無法滿足用戶預期，因此我們需要應用更新的技術來持續超越傳統在線觀影體驗。與此同時，長周期、大投入的視頻內容源，成為「超高清」大規模落地的瓶頸。如何讓新片在製作階段就滿足超高清要求？如何增強用戶的觀看體驗？如何通過高清修復技術讓經典老片換新顏？這些問題都將通過下文一一解答。本文內容來自阿里巴巴高級技術專家梅大為在LiveVideoStackCon2019北京站上的精彩分享。

文 / 梅大為（張行）

整理 / LiveVideoStack

大家好，我是阿里巴巴高級技術專家梅大為，本次分享的主題是優酷在超高清視頻技術的實踐，主要內容是優酷在超高清視頻技術上的理解和思考，以及在超高清視頻上進行修復增強的具體實踐。大眾在互聯網上觀看視頻，除了視頻本身的內容和VIP的價格以外，最關注的的應該就是視頻的觀看體驗。根據優酷的用戶調查數據來看，很大部分的用戶在選擇視頻APP時更關注是否有藍光、4K或者HDR、杜比音效這些選項，也有70%的用戶會在觀看視頻1分鐘後因為視頻清晰度的原因而棄劇，這兩個數據都體現出視頻觀看體驗對用戶的重要性。

1. 超高清視頻體驗

經過這麼多年的發展，目前互聯網視頻的觀看體驗仍然無法滿足用戶預期，以《血戰鋼鋸嶺》中的片段作比較，對比三家藍光流和介質質量可以發現，騰訊、優酷、愛奇藝三家藍光流的質量都小於原始介質質量，網友知乎@馬小帥也很直接的指出了其中關於碼率的問題，碼率相較原片相差很多倍，清晰度自然也會有差異。

2. 高清不清晰的原因

碼率受限確實是目前互聯網視頻「高清不清」的主要原因，而碼率問題也主要受限於網站帶寬成本和用戶網絡條件兩個方面，從視頻網站來考慮的話，碼率意味着帶寬，帶寬意味着成本，在視頻網站多數都還在虧損的大環境下，加大在帶寬上的投入是比較困難的。如果從用戶角度來看碼率受限的問題，可以看到目前多數用戶的有效帶寬還是在幾兆到十幾兆的範圍內。因此視頻網站的核心技術問題是如何做到窄帶高清，在保障帶寬不增長的前提下提供更優質的視頻體驗，提升單位帶寬承載的信息量。

3. 優酷超高清視頻之路

3.1 窄帶高清

窄帶高清目前有很多公司都在做，而優酷主要基於硬壓縮能力和內容分析理解兩方面來解決窄帶高清的問題，提升壓縮工具的硬壓縮能力，不斷適應新的標準，在同一個標準體系框架內也可以不斷地迭代壓縮算法。從壓縮對象/視頻內容來講的話，根據對質量貢獻的不同將內容進行分類，比如噪聲、干擾對視頻清晰度有副作用內容，以及背景和雜亂的細節、人臉特寫等內容，將其進行區別的視頻處理和壓縮，以此達到最優帶寬和清晰度的效果。基於這兩點優酷也在前幾年推出了窄帶高清2.0版本，在業界有一些不錯的反響。

3.2 從窄帶高清到超高清

從窄帶高清到超高清是一個巨大的跳躍，因為窄帶高清歸根結底還是個轉碼技術，追求的目標是在轉碼過程中的損失最小，而超高清是一個端到端全鏈條的體驗技術，關注的不僅僅是轉碼，還包括轉碼前的介質和轉碼後流渲染的質量，超高清各項數據指標如上圖所示。

從視頻生產消費的全鏈條中來看優酷實現超高清過程中遇到的問題，視頻鏈條主要分為介質製作、流生產和終端渲染三個部分，這三個部分對於視頻的質量和清晰度都非常重要，其中介質製作基本決定了視頻清晰度的基礎，這一步處理不好再之後就很難補救，而在流生產轉碼過程中需要盡量減少壓縮帶來的損失，儘可能的保留原清晰度，最後在終端渲染方面需要充分利用母帶的能力，做最適合的顏色和亮度呈現。優酷在三個部分所做的工作如上圖所示。

4. 優酷超高清實踐

4.1 介質品質保障

對於介質品質保障，優酷首先推出了視頻介質標準，在此之前由於介質來源很多，介質的製作流程各不相同，所以介質的畫質也不同。在優酷的視頻庫中可以看到各種各樣分辨率的介質，很多介質分辨率和碼率不匹配，最終播放效果就不可能做到清晰，因此優酷推出視頻介質標準，希望藉此規範介質的碼率和分辨率，保障在視頻介質製作部分不出差錯。

僅僅依靠視頻介質標準沒辦法對介質品質進行保障，因為高碼率和高分辨率並不是高清晰度的充分條件，因此優酷利用基於內容理解的線上質量檢測系統，對常見的幾種介質問題分別建模、設計算法、訓練模型和檢測。

有了視頻介質標準和質量檢測系統還是不能夠充分保障介質的品質，因此需要在後期通過高質剪輯將質量檢測中發現的問題解決。優酷在這方面也有在做一些嘗試，包括和後期公司進行定期交流，了解介質在後期公司的處理流程、使用的工具和設置參數，如果遇到疑難素材，優酷會給後期公司開放雲端修復工具來處理，完成後期替換和剪輯。

5. 視頻畫質修復

5.1 算法修復

關於視頻畫質修復很容易讓人聯想到老電影，老電影也是視頻畫質修復的主要應用場景，優酷創立時間很早，所以視頻庫中有很多老視頻資源，而老視頻資源中存在的最普遍問題就是噪聲和模糊，優酷的解決方式有母帶介質、膠片修復和算法修復三種。首先可以去找版權方拿到更好的介質源進行替換，但大多時候版權方也沒有更好的介質。其次可以用當前的介質拿去做膠片修復，但膠片修復費時費力，沒辦法大規模應用。最後，算法修復的好處是可以做批量化處理，可以設計算法去解決視頻畫質的問題，但缺點是通用算法沒辦法對個別問題進行修正，所得到的結果不會那麼穩定。

5.2 視頻去噪

噪聲在視頻中是一個普遍存在的問題，不僅僅出現在老電影中，在新片和特定的場景中也會出現噪聲，噪聲會影響主觀畫質，並且噪聲會使得碼率增加，對壓縮並不友好，因此視頻去噪就顯得尤為重要。

優酷面對的視頻種類很多，噪聲種類也很多。優酷使用基於網絡的去噪方式來做視頻的去噪處理，要做到兼容噪聲多樣性就需要多種噪聲增強數據去訓練網絡，使得它可以對不同噪聲進行處理。針對噪聲強度的問題，優酷也有前置的噪聲估計模塊，讓噪聲估計結果來指導網絡進行去噪處理。最後，視頻去噪有豐富的時間和空間信息，所以優酷使用三維去噪網絡保證去噪效果的最大化。

關於去噪流程框圖首先來看去噪網絡模塊，三維的卷積去噪網絡和普通去噪網絡的不同是，在網絡輸入除了不同的多幀數據外還包括代表噪聲強度的額外數據輸入，依靠噪聲強度來指導網絡進行更好的卷積，兼容大噪聲和小噪聲的情況，根據線下運行的數據來看還是很有效果的，而這個方法的代價是需要一個比較可靠的噪聲強度估計作為前置處理步驟。MEMC又叫做運動估計運動補償模塊，它的作用是抵消畫面中的運動，把相關的內容在時間和空間上聚集起來，方便三維的去噪網絡做卷積處理。

噪聲估計也是視頻去噪中比較經典的問題，其中目標壓制的噪聲又分為熱噪聲和壓縮噪聲兩類，對熱噪聲估計採用圖像分塊方差統計量，方法雖然老卻十分有用；對壓縮噪聲的估計採用CNN分類網絡，這兩個噪聲估計完之後會將兩個結果合併形成每一幀的噪聲估計值，把幀間的各種估計效果做融合和後處理。值得一提的是，在後處理中由於噪聲有很強的場景相關性，在同一個場景內噪聲是差不多的，但在場景切換時噪聲會發生突變，所以在做噪聲後處理的時候需要基於場景進行噪聲估計，保證後處理後噪聲在一個場景中是緩變的，去噪效果有一致性，在場景切換時去噪效果要能夠及時響應，避免由於場景切換去噪效果出現呼吸效應。

ME、MC在傳統的圖像處理中運用十分普遍，ME更多用於多尺度運動搜索，先在大尺度上進行運動搜索，然後把搜索結果傳遞到小尺度上，這種方式效率很高，既能保證大物體運動與場景的一致性，也能保證對小物體與運動邊界刻畫的精細程度。MC的目標是基於匹配score融合當前塊和最佳匹配塊，最終融合需要考慮匹配的程度如何，匹配的越好就越多的使用臨近塊的能量，匹配的越差就越多使用當前塊的能量，這樣做既能保證去噪效果，又能克服匹配很差導致去噪效果不佳。

5.3 老片字幕修復

影視資源的陳舊感雖然多半來自於內容，但還是有一部分是由於字幕的影響，如果對字幕進行修復的話也可以在一定程度上將老影視資源的觀看質量提升一個台階。

字幕修復的流程分為字幕檢測、字幕分割、字幕擦除和字幕回貼四個步驟，具體實現過程由上圖所示。

5.4 算法創造價值

視頻修復從其他維度來看算法創造的價值，左上圖的內容表示的是優酷最為關注的用戶觀看時長數據，可以看到在視頻修復前後用戶的觀看時長有明顯的提升，對於某些視頻甚至可以達到較修復前幾倍的提升。右上角是從用戶彈幕數據中觀察視頻修復對於用戶的影響，紅色是視頻修復完成的時間點，在修復前彈幕對於畫質的吐槽較多，而修復後彈幕對於畫質清晰的內容逐漸增多。左下相關媒體對於優酷高清畫質的報道，而右下的圖是優酷將《士兵突擊》進行畫質修復後的一場放映會，吸引了大量粉絲前來觀影，這樣的線下互動對優酷自身來講也很有意義。

6. 超高清增強

做超高清增強很大一部分的原因，是由於家用電視的尺寸越來越大，以更近的距離看更大屏幕的訴求使得用戶對視頻清晰度有了更高的要求，因此超高清就變得非常有必要。在真正的超高清設備上看超高清的視頻流，觀感是完全不一樣的。超高清的本質是信息量，信息量主要由採集時獲得的分辨率、幀率、動態範圍和視角決定，超高清在雲端重建的時候就可以補足在採集過程中沒有拿到的信息，以此獲得更好的體驗效果。增強手段包括視頻超分辨率、視頻幀率上採樣、SDR轉HDR和視角重建。

6.1 視頻超分辨率問題分析

視頻超分辨率目標就是提升空間分辨率，補足內容的高頻細節，其背後的假定是高頻與中低頻有一定的聯繫，通過中低頻來做高頻的反演，這一般是通過深度網絡來解決這個問題。另外，噪聲對於視頻增強有很大的干擾，處理不好容易使超分辨率出現bad case，在這部分優酷是採用一些適量加噪的數據去訓練網絡，讓網絡可以具備一定的抗噪能力。視頻超分辨率問題比較複雜，不可能用一個網絡去解決所有問題，因此優酷在這部分把問題分為很多類，做到專網專用來提升最後的超分效果。最後，提前預估網絡能力，聚焦目標效果，在做網絡訓練時把握尺度，這裡需要對訓練數據做預處理，評估訓練難度。

6.2 視頻超分辨率訓練數據產生

由於優酷主營業務是互聯網視頻，所以關於視頻訓練的數據非常豐富，同一個視頻內容既有高清版本又有低清版本，這種情況下就可以對網絡進行真實的訓練，但通常情況下沒有這麼好的數據對供測試使用，往往只有高清的視頻版本，所以低清視頻更多是靠隨機壓縮、模糊、採樣和噪聲自己生成，根據實際問題來進行調整，這兩種方式都可以產生訓練數據對，最後再經過數據的篩選和重置得到最終的訓練數據對。

6.3 視頻超分辨率訓練數據處理流程

當獲得訓練數據對後，處理流程就更像一個自然而然的過程，從輸入視頻開始，經過分類得到不同的類別，不同的類別用不同的網絡處理，最後得到超分結果。流程圖雖然簡單，但涉及分類的部分其實非常複雜，首先可根據內容標籤將視頻分為電影、動漫、電視劇等類型，也可以根據內容來源和屬性分為DVD超分1080P、1080P超分4K等類型，核心思想是把退化方式相近的視頻分成同一類，退化方式差異大的視頻分成不同類做不同處理，這個分類問題目前還在不斷地探索和發展。

6.4 SDR與HDR對比效果

SDR與HDR對比之下可以看到SDR畫面發灰且對比度不夠，而HDR在顏色豐富度和亮度、對比度都要優於SDR。

6.5 超高清終端渲染

優酷在超高清終端渲染上做了一些超高清的工作，由於不同終端存在差異性，需要正確認識每個終端的能力去做適配。另外，不同的終端設備存在一定的顯示誤差，也需要去做矯正以求在不同終端設備上顯示效果一致。後處理分為設備本身的後處理和自身視頻的後處理，前者包括硬件芯片和系統層的後處理，優酷將其納入整個超高清的處理鏈條中，以達到最終的渲染效果。優酷自身的後處理包括畫質增強和渲染工作等。

7. 關於超高清技術的未來

關於超高清的未來，優酷有清晰的戰略規劃。首先是真4K的拍攝&製作，這是從介質製作方面提高視頻的質量，而且拍攝過程要做到高效和低成本才能夠普及，目前已和合作夥伴有了些階段性的進展，在未來應該會達到更好的製作水平。在真4K介質製作能力發展和普及的過程中，雲端超高清重置也會起到補充作用，由於單純的靠採集端來製作超高清介質肯定是不現實的，有關VR的技術一定需要視角重建的工作，這部分在超分辨率技術中也是需要不斷深入。在信息壓縮方面，優酷更多將展望下一代的編碼標準和更好的通信技術，包括已定稿的H.266和目前比較火熱的5G通信技術，未來關於超高清技術的發展一定會更加精彩。