新聞動態 | 勇奪NTIRE大賽冠軍,騰訊優圖RealSR超解析度演算法開源了!

近日,騰訊優圖實驗室提出一種新的影像超解析度演算法RealSR並開源。該演算法在CVPR-NTIRE-2020真實影像超分比賽中以明顯優勢獲得雙賽道冠軍。
▶ 歡迎評測,GitHub地址如下:
//github.com/Tencent/Real-SR

在2020年的NTIRE真實影像超分比賽中,騰訊優圖團隊參加Image Processing artifacts及Smartphone Images兩個Track均以明顯優勢獲得第一名。
NTIRE比賽是影像增強領域的權威賽事(//data.vision.ee.ethz.ch/cvl/ntire20/),由ETH Zurich(蘇黎世聯邦理工學院)的Computer VisionLaboratory組織,和CVPR共同舉辦。
其中真實影像超分比賽專註於無監督超分技術(更貼合真實場景需求),吸引了包括INRIA,北京大學等中國外知名研究機構及高校,以及Samsung、Huawei等關注移動設備超分的中國外公司參與。


比賽獲獎證書

在官方彙報的比賽結果中,RealSR隊伍(Impressionism)在合成數據和真實數據兩個賽道上均獲得了第一名。
Track 1主辦方評價說,RealSR生成的結果幾乎沒有雜訊,甚至在視覺效果上超過了監督方法,是真實影像超分研究的一個里程碑式的創新。Track 2主辦方評價,相比於其他參賽者方法,RealSR生成了更加清晰更加乾淨的結果,在MOR視覺得分上以較大優勢領先。

Track 1 榜單結果

Track 2 榜單結果

超解析度是指將低品質壓縮圖片恢復成高解析度圖片的過程。隨著移動互聯網的快速發展,智慧設備逐漸普及到生活的每個角落。
隨之而來的是大量真實的影像數據,由於存儲和傳輸的需要,這些圖片的品質會被壓縮,為了使用戶獲得更加高品質的視覺體驗,影像恢復/超解析度演算法應運而生。超解析度作為一項底層視覺任務,其重要性毋容置疑,最直觀的效果就是人眼感官品質的提升。
如下圖所示,左邊是一張LR圖片,右邊分別是三種不同方法的對比(最右邊是我們提出的RealSR方法結果),可以看到RealSR在模糊/雜訊的去除表現上,明顯優於當前最優開源方法EDSR/ZSSR,獲得了更加清晰/無噪的高解析度結果。

RealSR和已有方法對比

與已有的超解析度方法相比,RealSR的創新主要體現在三個方面:
1.RealSR採用了自主設計的新型圖片退化方法,通過分析真實圖片中的模糊和雜訊,模擬真實圖片的退化過程;
2.不需要成對的訓練數據,利用無標記的數據即可進行訓練;
3.可以處理低解析度影像中的模糊雜訊問題,得到更加清晰乾淨的高分辨結果。
演算法的主要步驟可以分為兩個模組:退化模型的估計,超分模型的訓練。方法框架如下圖所示👇

RealSR演算法框架

超分演算法廣泛應用於圖片、影片修復技術中,以能夠以較低的儲存和傳輸成本獲得更高清的視覺感受。另外超分演算法也服務於人臉人像等深度合成技術,有助於生成細節更逼真的效果。老舊照片的修復同樣也需要使用人像清晰化技術。
隨著播放設備的能力逐漸提高,用戶對於影像/影片品質的追求也在不斷上升,提升影像影片的品質的需求越來越多。為了在不同場景中提升用戶體驗,演算法需要考慮更加複雜的降質模型,準確地估計影像中的退化,從而改善生成結果,視覺感官更加真實。

Real-SR開源!
開源地址:
//github.com/Tencent/Real-SR
(點擊文末閱讀原文直接訪問)
請給項目 一個 Star !
歡迎提出你的 issue 和 PR!
中國鏡像地址:
//git.code.tencent.com/Tencent_Open_Source/Real-SR
(登錄後才能訪問公開項目)
騰訊工蜂源碼系統為開源開發者提供完整、最新的騰訊開源項目中國鏡像



