騰訊優圖提出LCVR-MQVI演算法，勇奪NTIRE 2021雙賽道冠亞軍
- 2021 年 4 月 15 日
- AI
- 智慧影片理解
近日，在NTIRE 2021比賽上，騰訊優圖提出的LCVR-MQVI演算法在Video Super-Resolution: Track 2 Spatial-Temporal賽道和Track 1 Spatial賽道上分別獲得了冠軍和亞軍的成績。NTIRE比賽是影像與影片增強領域的權威比賽，由ETH Zurich（蘇黎世聯邦理工學院）的Computer Vision Laboratory組織，與CVPR2021共同舉辦。這次騰訊優圖同時參與了影片空間超分(video spatial super-resolution)和時空超分(video spatial-temporal super-resolution)兩個賽道。其中，相比於傳統的單圖超分或者影片插幀，影片的時空超分可以同時提升影片的解析度和幀率，帶來更好的觀看體驗，因此也更具有實用價值，吸引了包括百度、字節跳動、曠視、華為等公司以及南洋理工、北大、上海交大、復旦等知名高校的參與。針對本次比賽需要同時提升影片的解析度和幀率的要求，通過大量的對比實驗，最終我們確定了先超分後插幀的兩階段技術框架LCVR-MQVI。整體的框架如圖1(d)所示，對於輸入的低解析度低幀率影片，我們首先通過提出的雙向對齊超分網路LCVR進行超分，然後將超分後的圖片送入改進的多尺度插幀網路MQVI進行插幀。下面我們分別對兩部分的創新點進行介紹。我們提出了一種新的超解析度框架LCVR（Local to Context Video Super-Resolution），相比於其他單圖超分以及影片超分框架，我們的LCVR可以更好地利用影片中的過去和未來的資訊輔助當前幀的超分。具體來說，我們的方法有如下改進：
我們提出了一種新的插幀框架MQVI（Multi-Level Quadratic Video Interpolation）。相比於大多數現有的基於線性假設估計中間幀光流狀態的模型，我們的模型基於勻加速運動估計中間幀光流，因此可以更好地對真實世界中物體的運動進行擬合。同時，我們在QVI的基礎上引入了coarse-to-fine的思想，通過多尺度網路對初識的預測結果進行不斷的微調以實現更好的預測。具體來說，我們的MQVI相比於原始的QVI有以下的改進：
對於時空超分任務(track 2)，我們提出的方法在比賽的測試集上取得了27.68dB的PSNR，領先第二名0.29dB，在空間超分任務上(track 1)，我們提出的方法也取得了32.96dB的成績，領先第三名0.29dB。下面我們也對比賽測試集上的部分結果進行可視化，首先圖3展示了LCVR的空間超分能力，其中左邊為原始輸入通過bicubic的方式進行上取樣，右邊則為我們的LCVR演算法超分的結果。可以看到我們的方法由於可以利用影片的過去和未來的資訊，得到了更加清晰的超分結果。圖3 Bicubic上取樣與LCVR空間超分效果對比
圖5則展示了LCVR-MQVI模型在時空超分聯合任務上的效果。相比於圖4，我們的演算法可以同時提高影片的解析度和幀率。圖4 LCVR-MQVI時空超分輸入（插值放大播放效果）
隨著互聯網的蓬勃發展，影片已經成為越來越多人獲取資訊以及娛樂的方式。而短影片的出現讓越來越多的人可以即時分享自己創作的內容。然而由於個人創作者創作設備還有方法的不專業以及大量早期生產的影視作品，互聯網上存在著大量的低解析度、低幀率的影片，影響著人們的觀看體驗。因此如果能通過自動化的演算法將這些低品質的影片轉換為高品質的影片具有重要的現實意義。
