最新：北大&北航提出FFA-Net去雾新网络，现已开源（AAAI2020）

• 2019 年 12 月 6 日
• 筆記

作者：陈翔

https://zhuanlan.zhihu.com/p/92952626

本文授权转载自知乎专栏：陈翔说，未经允许，不得二次转载

论文：https://arxiv.org/abs/1911.07559

代码：https://github.com/zhilin007/FFA-Net

在过去的几十年中，单图像去雾作为基本的低级视觉任务已引起了计算机视觉社区和人工智能公司的越来越多的关注。

在本文中，作者提出了一种端到端特征融合注意力网络（FFA-Net），可以直接恢复无雾图像。

FFA-Net体系结构包含三个关键组件：

1.考虑到不同的通道特征包含完全不同的加权信息并且不同图像像素上的雾度分布不均匀，一种新颖的特征注意（FA）模块将通道注意与像素注意机制结合在一起。FA不平等地对待不同的特征和像素，这在处理不同类型的信息时提供了额外的灵活性，从而扩展了CNN的表示能力。

2.基本的块结构包括本地残差学习和功能注意，本地残差学习允许较不重要的信息（例如薄雾区域或低频）通过多个本地残差连接被绕开，让主网络体系结构专注于更有效的信息。

3.基于注意力的不同级别特征融合（FFA）结构，可从特征注意（FA）模块中自适应学习特征权重，从而为重要特征赋予更多权重。这种结构还可以保留浅层信息，并将其传递到深层。

实验结果表明，提出的FFANet在数量和质量上都大大超过了现有的单图像去雾方法，从而将SOTS室内测试数据集上最佳的PSNR度量从30.23db提高到35.77db。代码已在GitHub上提供。

以前的基于CNN的图像去雾网络会平等地处理通道方向和像素方向的特征，但是雾度在整个图像上分布不均，非常薄的雾度的权重应与厚的雾度区域像素的权重显着不同。此外，还发现某些像素在至少一个彩色（RGB）通道中具有非常低的强度是很常见的，这进一步说明了不同的通道特征具有完全不同的加权信息。如果我们一视同仁，它将花费大量资源进行次要信息的不必要的计算，网络将无法覆盖所有像素和通道。最后，它将大大限制网络的表示。

自从注意力机制在神经网络的设计中被广泛使用以来，它在网络性能中发挥了重要作用。受这项工作的启发，本文进一步设计了一个新颖的功能关注（FA）模块。FA模块分别在按通道和按像素的功能中组合了通道注意和像素注意。FA不平等地对待不同的特征和像素，这可以在处理不同类型的信息时提供额外的灵活性。

ResNet的出现使训练非常深的网络成为可能。本文采用跳过连接的思想和注意力机制，并设计了一个由多个局部残差学习跳过连接和特征注意力组成的基本模块。一方面，局部残差学习允许通过多个局部残差学习来绕开薄雾区域的信息和低频信息，使主网络学习更多有用的信息。渠道关注度进一步提高了FFA-Net的功能。

随着网络的深入，往往难以保留浅层特征信息。为了识别并融合不同级别的功能，U-Net和其他网络努力整合浅层信息和深层信息。同样，本文提出了一种基于注意力的特征融合结构（FFA），该结构可以保留浅层信息并将其传递到深层。最重要的是，在将所有特征输入特征融合模块之前，FFA-Net对不同级别的特征赋予不同的权重，该权重是通过自适应学习FA模块获得的。它比直接指定重量的要好得多。

总体而言，本文作者的贡献有以下四个方面：

1.提出了一种新颖的端到端特征融合关注网络FFA-Net，用于单图像去雾。FFA-Net在很大程度上超越了现有的最新图像去雾方法，在雾度高且纹理细节丰富的区域中，FFA-Net表现尤其出色。

2.提出了一种新颖的功能关注（FA）模块，该模块结合了通道关注和像素关注机制。该模块在处理不同类型的信息时提供了更大的灵活性，将更多的注意力集中在雾度高的像素和更重要的通道信息上。

3.提出了一个由局部残差学习和特征注意（FA）组成的基本块，局部残差学习允许通过多个跳过连接绕过薄雾区域的信息和低频信息，特征注意（FA）进一步提高了FFA-Net的容量。

4.提出了一种基于注意力的特征融合（FFA）结构，该结构可以保留浅层的信息并将其传递到深层。此外，它不仅可以融合所有特征，而且可以自适应地学习不同级别特征信息的不同权重。最后，它比其他特征融合方法具有更好的性能。

尽管FFA-Net结构很简单，但是它比以前的最新方法要好得多，并且具有很大的余量。本文的网络在恢复图像细节和色彩逼真度方面具有强大的优势，有望解决其他低层次的视觉任务，例如排水，超分辨率，去噪。FFA-Net中的FFA和其他有效模块在图像恢复算法中起着重要作用。