CVPR 之 老照片修復

• 2021 年 11 月 22 日
• 筆記
• Machine Learning, 圖像處理, 模式識別

    周末閑來無事，隨手整理電腦里的照片，望着一張物是人非的老相片，勾起了斑駁的回憶。忽爾轉念一想，何不 PS 下，但 PhotoShop 有些大且不免費自己懶得裝，於是，轉向免費的圖像復原軟件。

    網上搜來找去，卻一直沒尋到合適的，最後查到 CVPR 2020 的一篇 Oral 論文，看到有的博客已經詳細介紹過了，恰好作者也開放了源碼，於是，一時興起，拍腦門決定，就拿這個來複原老相片吧。

    結果，忙活了半個晚上 (主要是用手機熱點，時間浪費在了下載速度上) 加一個上午 (踩了很多第三方庫安裝、python 向低版本重裝的坑)，終於成功復原圖像，遂寫下此博文，以免後來者重複踩坑 … …

1  CVPR 會議

    CVPR 全稱 IEEE Conference on Computer Vsion and Pattern Recongniton，是計算機視覺的三大頂會之一 (另兩個是 ICCV 和 ECCV)，由 IEEE 每年舉辦一次

    2021年，按照 Google Scholar Metrics 排名，CVPR 已經擠掉了《柳葉刀》，成為全球影響力排名第四的頂級期刊會議，排在前面的有 《Nature》和《Science》

 2  Oral 論文

    2020年的 CVPR 會議中，有效投稿 6656 篇論文，1470 篇被錄用，接收率約 22%，其中 335 篇選中 Oral，比率約 5%

    這篇《Bringing Old Photos Back to Life》屬於 Oral 論文，含金量可見一斑，論文鏈接：//arxiv.org/pdf/2004.09484.pdf

    論文裏面的內容不再贅述，請讀者自行閱讀，摘錄論文實現的效果圖，如下：

    實現源碼作者已經開放，GitHub 鏈接：//github.com/microsoft/Bringing-Old-Photos-Back-to-Life

3  實踐步驟

3.1  測試環境

    Win 64 中使用 PoweShell 終端，已安裝 Python 3.9.9，安裝過程中勾選下圖 pip 選項：

    可在 PowerShell 中輸入 py –version，查看安裝的 Python 版本 

3.2  源碼和模型

3.2.1  源碼    

    如有 git 可用 git clone 命令，如下

git clone //github.com/microsoft/Bringing-Old-Photos-Back-to-Life.git　

    也可直接下載鏈接中的 Source code：//github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases

    如果下載速度較慢的話，可先點擊下載，然後複製鏈接到迅雷下載，能顯著提高下載速度

3.2.2  模型

    1)  下載 face_landmark 預訓練模型，解壓後放在 Face_Detection 目錄下

cd Face_Detection/
wget //dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2
bzip2 -d shape_predictor_68_face_landmarks.dat.bz2
cd ../

    2)  下載 face_checkpoints 模型，解壓後置於 Face_Enhancement 目錄下

cd Face_Enhancement/
wget //github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/face_checkpoints.zip
unzip face_checkpoints.zip
cd ../　　

    3)  下載 global_checkpoints 模型，解壓後置於 Global 目錄下

cd Global/
wget //github.com/microsoft/Bringing-Old-Photos-Back-to-Life/releases/download/v1.0/global_checkpoints.zip
unzip global_checkpoints.zip
cd ../

    2) 和 3) 也可以通過 3.2.1 中的鏈接下載，解壓後分別置於對應目錄中

3.2.3  sync_batchnorm

    下載 Synchronized-BatchNorm-PyTorch，將子文件夾 sync_batchnorm，拷貝到 Face_Enhancement/models/networks/ 目錄下

cd Face_Enhancement/models/networks/
git clone //github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../../

    相同的 sync_batchnorm 文件夾，再拷貝到 Global/detection_models/ 目錄下

cd Global/detection_models
git clone //github.com/vacancy/Synchronized-BatchNorm-PyTorch  # no need doing git clone once again
cp -rf Synchronized-BatchNorm-PyTorch/sync_batchnorm .
cd ../../　

3.3  依賴庫

3.3.1  第三方庫

    可直接使用 pip 和 requirements.txt，一鍵下載全部依賴庫

pip install -r requirements.txt

　requirements.txt 中的所有依賴庫如下：其中，torch, torchvision 和 dlib 稍稍複雜，可放在後面單獨安裝

torch
torchvision
dlib
scikit-image
easydict
PyYAML
dominate>=2.3.1
dill
tensorboardX
scipy
opencv-python
einops
PySimpleGUI

3.3.2  Torch 和 Torchvision　　

    Torch, Torchvision 和 Python，三者版本是有一定的對應關係，需要單獨安裝，關係圖參考：//github.com/pytorch/vision

    第一種方法，用 pip install torch==1.8.1 和 pip install torchvision==0.9.2 進行安裝，但在 PowerShell 中，有時會因網絡不穩定導致安裝不成功

    第二種方法，提前下載好對應的 .whl 版本，下載鏈接：//download.pytorch.org/whl/torch_stable.html，然後，分別執行如下命令    

pip install  torch-1.8.1+cpu-cp39-cp39-win_amd64.whl
pip install  torchvision-0.9.1+cpu-cp39-cp39-win_amd64.whl

    安裝成功後，可用如下命令查看版本    

import torch
print(torch.__version__)

    查看的版本是 torch 1.8.1+cpu 和 torchvision 0.9.1+cpu

3.3.3  dlib

    直接使用 pip install dib，安裝並不成功，建議先下載 .whl 文件，再通過 pip 來安裝，下載鏈接：//github.com/sachadee/Dlib    

pip install dlib-19.22.99-cp39-cp39-win_amd64.whl

3.4  執行效果

    此處使用普通電腦測試，沒有 GPU，所以 “–GPU” 設為 「-1」

    1)  對於帶有劃痕的照片，加選項 「–with_scratch」 

    2)  對於高分辨率的照片，加選項 “–HR”

py run.py --input_folder ./test_images/old/ --output_folder ./output/ --GPU -1

    翻拍的老相片，復原前後對比如下：尤其放大相片後，人臉的對比效果非常明顯

 4  其它方法

    閱讀一篇好的論文，顯然比在網上搜索更加有效，從文末的效果對比可知，主流的圖像復原方法有：DIP, CyleGAN, Sequential, Pix2Pix 和 Operation-wise Attention 等

參考資料

    Bringing Old Photos Back to Life

    照片修復-使用Bringing-Old-Photos-Back-to-Life