Hi-Net 多模態混合醫學圖像生成網絡2020-05-28
- 2020 年 5 月 29 日
- AI
今日文章來自:Hi-Net: Hybrid-fusion Network for Multi-modalMR Image Synthesis1
研究任務和思想
文章研究任務為醫學圖像生成。傳統的醫學圖像生成一般是一種模態生成另一種模態,而本文的任務為兩種或者模態生成另一種模態,如輸入T1 和T2兩種模態生成Flair模態。而研究的出發點就是那一句「more modalities provide more information」
本文另一個好的想法是,把多模態之間的相關性,和模態各自的特性進行分開考慮。本文認為在捕獲特定於模式的信息以保護其屬性的同時,開發多個模式之間的潛在相關性是至關重要的。本文所提出的Hi-Net網絡分為三部分:模態特定網絡,模態融合網絡,和生成網絡。其中 模態特定網絡主要思想是通過編碼器來學習各個模態的獨有的特徵,融合網絡通過混合融合塊來實現( Mixed Fusion Block(MFB)),而生成網絡則通過GAN 來進行訓練。
本文主要貢獻:
1 不同於現有的單一模態合成方法,我們提出了一種新的醫學圖像合成框架,使用多種模態合成目標模態圖像
2 我們的模型通過特定於模態的網絡捕獲各個模態特徵,並利用多模態之間的相關性,使用分層多模態融合策略來有效地集成多模態多層次表示
3 提出了一種新的MFB模塊,自適應地對不同融合策略進行加權,有效地提高了融合性能。
總體網絡圖
模態特定網絡
模態特定網絡用來學習模態的高層特徵。採用自動編碼器結構。通過L1重建損失約束。
值得注意的是:重構損失提供了側輸出,以保證針對特定模態的網絡對每個模態學習一個有區別的表示。
未完待續。。。。