更好也更快！最先進的影像去模糊演算法DeblurGAN-v2

• 2019 年 12 月 30 日
• 筆記

點擊我愛電腦視覺標星，更快獲取CVML新技術

以GAN為代表的生成模型正在視覺造假的路上越來越成熟，狗變貓、白馬變斑馬、實景變素描是GAN用於高級影像生成的例證。

能否將GAN應用於低級的影像處理呢？比如影像去模糊。

答案是肯定的。將GAN用於影像去模糊，生成器用於生成清晰影像，鑒別器區分真實且清晰影像與造假或模糊影像。

DeblurGAN （CVPR 2018）是這一方向新出演算法中的佼佼者。

昨日公布的ICCV 2019 論文 DeblurGAN-v2: Deblurring (Orders-of-Magnitude) Faster and Better，原作者對其再升級，改進了生成器的網路結構與鑒別器，且使得演算法可以方便使用現有成熟的骨幹網，不僅提升了去模糊後影像的品質，同時可以輕易設計計算代價小的模型。實現了更好也更快！

該文作者資訊：

由論文標題知，DeblurGAN-v2在速度上獲得了數量級的提升。

下圖展示了該文描述的DeblurGAN-v2使用不同骨幹網獲得的三個模型在GoPro數據集上與其他三個SOTA去模糊演算法比較結果。

可見，使用SSIM為度量標準，DeblurGAN-v2的三個模型計算代價都較低，在使用複雜度高的inception網路時，DeblurGAN-v2可取得最好的去模糊效果，而使用輕量級網路，在FLOPs大幅度下降情況下，SSIM結果仍處於SOTA水平。

因為效果好計算代價小，將 DeblurGAN-v2用於影片去模糊也是可行的！

演算法改進

下圖展示了該文作者對演算法的改進：

在生成器部分作者引入了特徵金字塔網路，不同於使用影像金字塔，這種特徵重用的結構可大幅降低計算時間和模型size。

且這種結構允許方便的使用不同的CNN骨幹網，是一種計算量可伸縮的結果。

另外，在鑒別器部分，作者設計了新的損失函數：

另外，不僅保留DeblurGAN中PatchGAN鑒別器，對影像Patch進行鑒別，還引入了全局鑒別器（如架構圖的右側部分），稱此為雙尺度鑒別器（double-scale discriminator）。作者發現這樣的改進，可以使得DeblurGAN-v2更好的處理較大的和異質的真實世界模糊。

實驗結果

作者在多個影像去模糊數據集上進行了實驗。

在幾大數據集上客觀評價指標結果：

可見DeblurGAN-v2演算法既可以獲得最高精度的模型，也可以獲得精度接近最好但計算量極低的模型，更加實用。

在Lai數據集上的主觀評價結果：

在Kohler數據集的去模糊示例：

結論

本文提出的去模糊框架DeblurGAN-v2可以很方便切換骨幹網，能夠取得目前最好的效果，而計算量卻減少幾個數量級，非常值得參考。

值得一提的是，DeblurGAN-v2中生成器的網路結構和雙尺度鑒別器也同樣適用於其他低級影像處理任務，比如影像超分辨。期待也能對相關領域的研究有所啟發。

論文地址：

https://arxiv.org/pdf/1908.03826v1.pdf

在我愛電腦視覺公眾號對話介面回復「去模糊GAN」，即可收到下載地址。

程式碼地址：

https://github.com/TAMU-VITA/DeblurGANv2

感謝開源者，歡迎給作者標Star。