Hi-Net 多模态混合医学图像生成网络2020-05-28

• 2020 年 5 月 29 日
• AI

今日文章来自：Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis1

研究任务和思想

文章研究任务为医学图像生成。传统的医学图像生成一般是一种模态生成另一种模态，而本文的任务为两种或者模态生成另一种模态，如输入T1 和T2两种模态生成Flair模态。而研究的出发点就是那一句“more modalities provide more information”

本文另一个好的想法是，把多模态之间的相关性，和模态各自的特性进行分开考虑。本文认为在捕获特定于模式的信息以保护其属性的同时，开发多个模式之间的潜在相关性是至关重要的。本文所提出的Hi-Net网络分为三部分：模态特定网络，模态融合网络，和生成网络。其中 模态特定网络主要思想是通过编码器来学习各个模态的独有的特征，融合网络通过混合融合块来实现（ Mixed Fusion Block（MFB）），而生成网络则通过GAN 来进行训练。

本文主要贡献：

1 不同于现有的单一模态合成方法，我们提出了一种新的医学图像合成框架，使用多种模态合成目标模态图像
2 我们的模型通过特定于模态的网络捕获各个模态特征，并利用多模态之间的相关性，使用分层多模态融合策略来有效地集成多模态多层次表示
3 提出了一种新的MFB模块，自适应地对不同融合策略进行加权，有效地提高了融合性能。

总体网络图

图1所示。用于多模态医学图像合成的Hi-Net框架。我们的Hi-Net包括三个主要部分:模态特定网络、多模态融合网络和多模态生成网络。模态特定网络用于学习模态特征，多模态融合网络用于学习多模态之间的相互关系。多模态生成网络由一个生成器和一个鉴别器组成，其中生成器网络对目标图像进行生成，鉴别器的目的是对生成的图像和真实的图像进行鉴别。

模态特定网络

模态特定网络用来学习模态的高层特征。采用自动编码器结构。通过L1重建损失约束。

值得注意的是：重构损失提供了侧输出，以保证针对特定模态的网络对每个模态学习一个有区别的表示。
未完待续。。。。