超強影片超分AI演算法,從此只看高清影片

  • 2022 年 3 月 13 日
  • 筆記

最近發現一個特彆強的影片超分演算法————BasicVSR,在真實世界數據集中,實現了前所未有的視覺重建效果,最近它還拿下了超分比賽NTIRE 2021三冠一亞的優異成績,登上了CVPR 2022。

影片超分,假設低解析度影片是從高解析度的影片經過一系列的退化操作而得到,超分演算法就是將該退化操作進行求逆,從而可以將低解析度影片恢復成高解析度影片。

右側為原片,左側為AI高清化

右側為原片,左側為AI高清化

對演算法細節感興趣的同學可以先研究一下論文『Investigating Tradeoffs in Real-World Video Super-Resolution』

//arxiv.org/pdf/2111.12704.pdf

我試玩了一下,感覺效果還是蠻不錯的,下面就分享一下BasicVSR在ubuntu下的安裝極簡教程。

實不相瞞,macOS和ubuntu下我都安裝成功了,Windows沒有成功(老報錯),感興趣且運氣爆表的同學可以再試試。

安裝

1 創建環境

conda create -n realbasic python=3.8

2 安裝pytorch

//pytorch.org/get-started/locally/

具體版本需根據自己的電腦配置,如有GPU,需與注意自己的cuda版本,可以使用nvidia-smi查看。

conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch

3 安裝mimmmcv-full

MMCV 是一個面向電腦視覺的基礎庫,它支援了很多開源項目。建議安裝完整版:mmcv-full ,包含所有的特性以及豐富的開箱即用的 CUDA 運算元。

但是直接pip安裝需注意cuda和torch版本,容易安裝失敗。建議使用MIM安裝,它會自動檢查 CUDA 和 PyTorch 環境並盡量幫我們安裝和環境匹配的預編譯版本的 MMCV-full,從而省去編譯的耗時。

pip install openmim
mim install mmcv-full

4 安裝MMEditing

MMEditing 是基於 PyTorch 的影像&影片編輯開源工具箱, 提供修復/摳圖/超解析度/生成等任務最先進的演算法。用pip我試了也失敗了幾次,最後只能本地安裝:

git clone //github.com/open-mmlab/mmediting.git
cd mmediting
pip install -r requirements.txt
# 如報錯,忽略即可,繼續執行下指令
pip install -v -e . 

使用

1 克隆項目

//github.com/ckkelvinchan/RealBasicVSR

2 下載預訓練模型

下載地址:

//entuedu-my.sharepoint.com/personal/chan0899_e_ntu_edu_sg/_layouts/15/download.aspx?SourceUrl=%2Fpersonal%2Fchan0899%5Fe%5Fntu%5Fedu%5Fsg%2FDocuments%2FRealBasicVSR%2FRealBasicVSR%5Fx4%2Epth

在RealBasicVSR項目下新建checkpoints文件夾

3 運行
將需要轉換的影片放到data目錄下,運行即可

python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001.mp4 results/demo_001.mp4 --fps=12.5

4 結果
運行比較耗時,需耐心等待,如果你有鈔能力,當我沒說。