B站開源動畫質修復模型：解析度更高 畫質還更好
為了讓你能高清重溫童年的XXX，AI近來沒少努力。
最近我們就發現了一個專為動漫影像而生的畫質修復模型：
Real-CUGAN。
這個開源模型在今天登上了GitHub熱榜，還來自b站官方。
它的效果也比此前倆個挺火的超分模型要更進一步，推理速度、兼容性什麼的也都更快、更好。
「老二刺猿」了就是說[狗頭]。
結構魔改自Waiuf2x
Real-CUGAN，全名Real Cascade U-Nets for Anime Image Super Resolution。
其結構魔改自此前大火的圖片無損放大/降噪神器——Waiuf2x （GitHub標星23k），並可以與之無縫兼容；訓練程式碼基本來自騰訊去年剛出品的RealESRGAN （GitHub標星9.1k）。
Waiuf2x出自日本的一位「技術宅」，原理大概就是把一堆二次元圖片縮小再和原圖放一起，通過演算法讓模型自己學會了如何放大拉伸圖片。
Waiuf2x有免費的網頁版供大家使用。
RealESRGAN，主要通過模擬高解析度影像變低分辯率過程中的各種「退化」過程，然後讓模型看到一張糊圖後倒推出來它的高清圖。
它是對超分「前輩」ESRGAN的進一步改進，後者曾贏得ECCV2018 PIRM-SR挑戰賽中的第一名。
相比這兩位，Real-CUGAN都有什麼獨到之處呢？
首先在訓練集方面，前兩者都是採用私有二次元訓練集，量級與品質未知，Real-CUGAN則用了百萬級高清的二次元數據集。
在推理耗時方面（目標為1080P），如果以Waiuf2x為基準線，RealESRGAN要耗費2.2x的時間，Real-CUGAN則只需1x。
在強度調整方面，Waiuf2x可以支援多種降噪強度，RealESRGAN沒法調整，Real-CUGAN則支援4種降噪強度與保守修復，未來還會提供不同程式的去模糊、去JPEG偽影、銳化等功能。
此外，Waiuf2x只能實現1倍和2倍解析度修復，RealESRGAN只支援4倍，Real-CUGAN則2～4倍都可以（1倍還在訓練中）。
當然，最最最重要的還是效果。
來看一些最直觀的對比圖：
可以看到，Real-CUGAN和Waiuf2x的結果都差不多，但是RealESRGAN卻沒有處理好地板紋理。
在這組對比圖中，Waiuf2x明顯不如後兩者線條清晰，而相比Real-CUGAN，RealESRGAN中人物嘴巴和下顎處的線條是虛的，有雜線。
而在這組「極致渣清型」圖片的超分效果中，Waiuf2x仍然明顯不夠清晰。
而RealESRGAN整體清晰是清晰，卻仍然出現了雜線，以及和明顯的偽影——只有Real-CUGAN畫面乾乾淨淨，表現最好。
面向4類玩家提供不同參數配置
為了方便更多的創造者，Real-CUGAN面向4類群體開源了不同的推理參數設置。
-Windows 玩家
Real-CUGAN為Windows用戶打包了一個可執行環境（下載鏈接可在文末的倉庫里自取）。
通過congfig文件可進行通用參數設置：在mode中填寫video或者image決定超影片還是超影像。
模型分三類，具體選哪種也給了參考：
-Waifu2x-caffe玩家
提供了兩套參數：Real-CUGAN2x標準版(denoise-level3) 和Real-CUGAN2x無切割線版。
-Python玩家
需torch>=1.0.0，配備numpy、opencv-python、moviepy模組。
-VapourSynth玩家（專業影片壓制）
這個就不細說了，相應的讀者可以參見倉庫的Readme說明～
最後，Real-CUGAN也正在計劃更新更多：包括快速模型、簡單的GUI、一步超到任意指定解析度功能以及對本身效果的改進（優化紋理保留，削減模型處理痕迹）。
心動的朋友可以戳下方鏈接試試手：點此跳轉
