論文閱讀：《Cross-domain few-shot classification via learned feature-wise transformation》

• 2021 年 2 月 20 日
• AI

hello~好久不見！小李回歸論文閱讀啦！
雖然是之前拖延的論文……才發現放假這麼久都沒有靜下心看幾篇
（留下不學無術的眼淚）
言歸正傳，今天記錄的是關於小樣本域適應的一篇2020的文章。

論文名稱：
《Cross-domain few-shot classification via learned feature-wise transformation》
論文地址：//arxiv.org/abs/2001.08735
論文閱讀參考：
//zhuanlan.zhihu.com/p/257805250?utm_source=wechat_session
//zhuanlan.zhihu.com/p/112634464
//blog.csdn.net/qq_35896136/article/details/107432922
論文程式碼：//github.com/hytseng0509/CrossDomainFewShot
本篇文章只記錄個人閱讀論文的筆記，具體翻譯、程式碼等不展開，詳細可見上述的鏈接.

Background

Existing metric-based few-shot classification algorithms predict categories by comparing the feature embeddings of query images with those from a few labeled images (support examples) using a learned metric function.While promising performance has been demonstrated, these methods often fail to generalize to unseen domains due to large discrepancy of the feature distribution across domains.
從不同域的任務中提取的影像特徵分布存在顯著差異。
因此，在訓練階段，度量函數可能會過度擬合僅從可見域編碼的特徵分布，而不能推廣到未可見域。故，作者指出現有的metric-based few-shot classification演算法即基於度量學習的小樣本演算法,由於跨域的特徵分布的巨大差異，在unseen domains上不能表現出很好的泛化性。

（註：基於度量的方法：給定一個輸入任務，該任務由來自新類的少量標記影像(支援集)和未標記影像(查詢集)組成，編碼器首先提取影像特徵。然後，該度量函數將標記影像和未標記影像的特徵作為輸入，並預測查詢影像的類別。）

Related work

1.Few-shot classification:
這一部分我就不詳細敘述了。之前與小樣本相關的論文閱讀都有提及。可參考原文或者前面的文章。
2.Domain adaptation:
Domain adaptation methods aim to reduce the domain shift between >the source and target domains.
域適應方法旨在減少源域和目標域之間的域偏移。
Since the emergence of domain adversarial neural networks (DANN) numerous frameworks have been proposed to apply adversarial training to align the source and target distributions on the feature-level
自域對抗性神經網路(DANN)的出現以來，人們提出了許多框架來應用對抗性訓練來調整特徵級別上的源分布和目標分布
Most domain frameworks, however, target at adapting knowledge of the same category learned from the source to target domain and thus are less effective to handle novel category as in the few-shot classification scenarios
然而，大多數領域框架的目標是將從源領域學到的同一類別的知識適應於目標領域，因此不太能像在小樣本分類場景中那樣有效地處理新的類別。
3.Domain generalization：
In contrast to the domain adaptation frameworks, domain generalization methods aim at generalizing from a set of seen domains to the unseen domain without accessing instances from the unseen domain during the training stage
與域自適應框架相比，域泛化方法的目的是將從一組可見域泛化到未見域，而不在訓練階段從未見域訪問實例。
4.Learning-based data augmentation:
Data augmentation methods are designed to increase the diversity of data for the training process.
5.Conditional normalization/6.Regularization for neural networks

Work

1.We propose to use feature-wise transformation layers to simulate various image feature distributions extracted from the tasks in different domains.
2.We develop a learning-to-learn method to optimize the hyper-parameters of the feature wise transformation layers
總的來說，文章提出Feature-wise Transformation層，在訓練階段模擬不同domains下的特徵分布來augment影像特徵。進一步應用一個learning-to-learn的方法來更新該層里的超參數。
接下來具體說說模型。

Model

如上圖所示，為我們提出的模型，我們將feature-wise transformation layers（FT特徵變換層） 插入到Feature Encoder 的BN層之後，將特徵變換層集成到特徵編碼器中。
即在訓練階段使用基於特徵的變換層通過仿射變換來增強影像特徵，以模擬不同域下的各種特徵分布，從而提高測試階段度量函數的泛化能力。
About feature-wise transformation layers(以下簡稱FT）：
圖（a）：
給定Feature Encoder的一個 大小的中間層特徵激活圖Z ，首先從高斯分布中取樣scaling項和

調整後的激活值zˆ,如公式2所示。

然而，基於特徵的變換層的超參數可能需要細緻的手工調整，因為很難建模影像特徵分布在不同領域的複雜變化。基於此，我們開發了一個learning-to-learn演算法來優化所提出的特徵轉換層。主要目的是優化功能上的轉換層，以便在使用所看到的領域訓練模型之後，模型可以在未看到的領域上工作。

主要有兩次迭代更新，第一次更新利用已知域數據對度量模型參數的更新，也既是特徵編碼器和模型函數的參數 ,第二次更新是利用未知域對變換層參數的更新，也既是

Experiment

數據集：
minimagenet、CUB、Cars、Places和Plantae。其中針對mini ImageNet和CUB數據集沿用Ravi&Larochelle(2017)和Hilliard(2018)等人劃分式。對於其他數據集，通過隨機拆分類來手動處理數據集。下表總結了每個數據集的訓練、驗證和測試類別的數量。

實驗設置：
5-way 1-Shot / 5-way 5-Shot Backbone：ResNet-10
實驗結果：
1.採用常規跨域實驗設置：
我們在mini-ImageNet上訓練模型，並在其餘數據集上評估訓練後的模型，FT表明使用提出的feature-wise transformation layers特徵轉換層來訓練模型。

2.採用leave one out設置：
從CUB、Cars、Places和Plantae中選擇一個作為unseen domain進行評估，mini-ImageNet和其餘的域作為訓練模型的seen domain。FT和LFT分別表示為應用預訓練的特徵提取器和使用所提出的learn to learn feature-wise transformation層

3.消融實驗

總的來說，結合大量實驗驗證了提出的feature-wise transformation（FT）層適用於不同的基於度量的小樣本演算法，並且在基準線上顯示出一致的改進。

Ending~
接下來加油鴨！