一、写在前面

感谢百度组织这次论文复现活动，感兴趣的朋友也可以点击链接参加：

//aistudio.baidu.com/aistudio/education/group/info/1340

二、论文背景

自 2014 年Goodfellow等人发表了最初的 Generative Adversarial Networks 论文以后，关于 GAN 的研究成为计算机业界的大热门，随后的发展脉络集中于两条主线，一条是针对GAN理论的基础研究和改进，另一条则侧重于应用，而 U-GAT-IT 这篇论文就是 2020 ICLR 上非常亮眼的作品。

前置论文推荐：
- Generative Adversarial Nets
- UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS
- Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks

三、论文阅读笔记

1. Introduction

Image-to-image translation可以应用在很多计算机视觉任务：

图像分割
图像修复
图像着色
图像超分辨率
图像风格（场景）变换等

而 GAN 的优势在于：不仅仅在模型训练的收敛速度上，同时在图像转换质量上展示了优越的结果。相比传统的 Pixel CNN、VAE、Glow 优势非常明显。所以近年关于 GAN 的研究非常多。

而“图像翻译”则是 GAN 应用的第一步：

跨模态间的转换
文本到图像
文本到视频
语音到视频等

这种端到端，希望实现一个分布到另一个分布转换，GAN 都是可以有一定的作用。

该论文提出了现在 Image-to-image translation 依然存在很多问题，比如现在只能实现人到人的转换，狗到狗的转换等，差异情况较大的就难以转换，比如在猫到狗或者是仅仅是语义联系的图像转换上的表现则不佳。

U-GAT-IT 的出现，正是为了实现跨域转换的鲁棒性

两大创新点：
- 新的注意力机制 a new attention module，采用全局和平均池化下的类激活图（Class Activation Map-CAM）来实现的，通过 CNN 确定分类依据的位置。
- 新的自适应归一化函数 a new learnable normalization function，帮助注意力引导模型灵活控制形状和纹理的变化量。