Hi-Net 多模態混合醫學圖像生成網絡2020-05-28

  • 2020 年 5 月 29 日
  • AI

今日文章來自:Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis1

研究任務和思想

文章研究任務為醫學圖像生成。傳統的醫學圖像生成一般是一種模態生成另一種模態,而本文的任務為兩種或者模態生成另一種模態,如輸入T1 和T2兩種模態生成Flair模態。而研究的出發點就是那一句「more modalities provide more information」

本文另一個好的想法是,把多模態之間的相關性,和模態各自的特性進行分開考慮。本文認為在捕獲特定於模式的信息以保護其屬性的同時,開發多個模式之間的潛在相關性是至關重要的。本文所提出的Hi-Net網絡分為三部分:模態特定網絡,模態融合網絡,和生成網絡。其中 模態特定網絡主要思想是通過編碼器來學習各個模態的獨有的特徵,融合網絡通過混合融合塊來實現( Mixed Fusion Block(MFB)),而生成網絡則通過GAN 來進行訓練。

本文主要貢獻:

1 不同於現有的單一模態合成方法,我們提出了一種新的醫學圖像合成框架,使用多種模態合成目標模態圖像
2 我們的模型通過特定於模態的網絡捕獲各個模態特徵,並利用多模態之間的相關性,使用分層多模態融合策略來有效地集成多模態多層次表示
3 提出了一種新的MFB模塊,自適應地對不同融合策略進行加權,有效地提高了融合性能。

總體網絡圖

圖1所示。用於多模態醫學圖像合成的Hi-Net框架。我們的Hi-Net包括三個主要部分:模態特定網絡、多模態融合網絡和多模態生成網絡。模態特定網絡用於學習模態特徵,多模態融合網絡用於學習多模態之間的相互關係。多模態生成網絡由一個生成器和一個鑒別器組成,其中生成器網絡對目標圖像進行生成,鑒別器的目的是對生成的圖像和真實的圖像進行鑒別。
模態特定網絡

模態特定網絡用來學習模態的高層特徵。採用自動編碼器結構。通過L1重建損失約束。

值得注意的是:重構損失提供了側輸出,以保證針對特定模態的網絡對每個模態學習一個有區別的表示。
未完待續。。。。