論文閱讀：《Explanation-Guided Training for Cross-Domain Few-Shot Classification》

2021 年 5 月 25 日
AI

最近都在忙比賽的事情真拖了很久沒有來更新我的論文閱讀了……
一下子都五月底了時間可太快了……

論文名稱：
《Explanation-Guided Training for Cross-Domain Few-Shot Classification》
論文地址：//arxiv.org/abs/2007.08790v2
本篇文章只記錄個人閱讀論文的筆記，具體翻譯、程式碼等不展開，詳細可見上述的鏈接.

Background

1.Cross-domain few-shot classification task (CD-FSC) combines few-shot classification with the requirement to generalize across domains represented by datasets. This setup faces challenges originating from the limited labeled data in each class and,additionally, from the domain shift between training and test sets
小樣本跨域學習實際上是小樣本學習和域適應（域遷移）的一個結合。
那麼無論是對小樣本學習或者傳統的域適應來說，都存在挑戰，不僅是樣本數量有限還是訓練集和測試集之前域差異的挑戰。
2.Although a large number of explanation methods have contributed substantial progress to the field of explaining model predictions , they are usually applied in the testing phase, and frequently, do not consider the use cases of explanations. Some known use cases are the audit of predictions ,explanation-weighed document representations that are more comprehensive, and identification of biases in datasets.
雖然大量的解釋方法在解釋模型預測領域已經取得了實質性的進展，但它們通常應用於測試階段，而且經常不考慮解釋的用例。

Work

• We derive explanations for FSC models using LRP.
• We investigate the potential of improving model performance using explanations in the training phase under few shot settings.
• We propose an explanation-guided training strategy to tackle the domain shift problem in FSC.
• We conduct experiments to show that the explanation guided training strategy improves the model generalization for a number of FSC models and datasets.
• We combine our explanation-guided training strategy with another recent approach, LFT, which shares with our approach the property of being applicable on top of existing models, and observe a synergy of these two methods further improves the performance.
1.我們使用LRP對FSC模型的提供了解釋。
2.我們研究了在小樣本設置下使用訓練階段的解釋來提高模型性能的潛力。
3.我們提出了一種解釋指導的訓練策略來解決FSC中的域移問題。
4.我們進行的實驗表明，隨解釋的訓練策略改進了一些FSC模型和數據集的模型泛化。我們將我們的解釋指導訓練策略與另一種最近的方法LFT相結合，它與我們的方法一樣具有適用於現有模型之上的特性，並觀察到這兩種方法的協同作用進一步提高了性能。

Model

先簡單總括一下方法：
we introduce a novel training approach for existing FSC models. It leverages on the explanation scores, obtained from existing explanation methods when applied to the predictions of FSC models, computed for intermediate feature maps of the models. Firstly, we tailor the layer-wise relevance propagation (LRP) method to explain the predictions of FSC models. Secondly, we develop a model-agnostic explanation-guided training strategy that dynamically finds and emphasizes the features which are important for the predictions。
方法的核心主要是利用了從現有的解釋方法中獲得的FSC模型的預測，為模型的中間特徵圖計算。
首先，我們訂製了層相關性傳播(LRP)方法來解釋FSC模型的預測。其次，我們開發了一個模型不可知的解釋指導的訓練策略，動態地發現並強調對預測重要的特徵。
補充一下：LPR（Layer-wise Relevance Propagation）是一種解釋方法，通過預先訓練的網路，將輸出的相關性向後分配，並確定節點對分類的貢獻。根據激活度和網路權值，通過在下一層傳播相關性來獲得每層的相關性。解釋器給出了與輸入影像具有相同維數的像素級熱圖，從而可視化了輸入影像中對所選類別有貢獻的重要區域

如上圖所示，熱力圖由使用不同的目標標籤生成。
紅色像素表示LRP相關性分數為正，藍色表示為負。顏色的強度對應於LRP相關性分數的值。
如第一行（Q1），可以看出LRP熱力圖突出了非洲獵狗的腿，
當我們解釋Q2：，LRP則熱力圖強調了類似圓形輪廓。

網路結構

網路結構如上圖所示，藍色路徑表示傳統的小樣本域適應訓練。紅色的路徑即為解釋方法LRP，是在沿著藍色路徑後一步添加的。
首先，將支援樣本S和查詢樣本Q輸入影像編碼器CNN，以獲取特徵fs和fq，並由特徵處理模組進一步處理。將特徵處理的輸出fp輸入到一個分類器中以進行預測。
注意，特徵處理模組和分類器模組在不同的FSC方法中都有所不同。
解釋塊解釋了模型預測p，並生成了對fp的解釋，表示為R(fp)，用於計算LRP權重wlrp。
將lrp加權特徵wlrpfp輸入分類器，得到更新的預測plrp。
具體分為四個步驟
Step1: One forward-pass through the model and obtain the prediction p
如網路模型所示，從藍色路徑獲得傳統的小樣本訓練的預測P
Step2: Explaining the classifier. We initialize the LRP relevance for each label and apply LRP to explain the classifier.We can obtain the relevance of the classifier input R(fp)
初始化每個標籤的LRP相關性，並應用LRP來解釋分類器。
we refer to the logit function in to initialize the relevance scores.Taking the cosine similarity as an example, we first calculatethe probability for each class using the exponential function via equation (1).

我們引用對數函數來初始化相關性分數。以餘弦相似度為例，首先通過上述方程即利用指數函數計算每類的概率
c類的相關性分數定義為：

根據每個目標標籤Rc的相關性評分，標準LRP適用於通過分類器反向傳播Rc以生成解釋。
我們依賴於兩個已建立的LRP反向傳播機制

Step3: LRP-weighted features. To emphasize the features which are more relevant to the prediction and downscale the less relevant ones, we define the LRP weights and the LRP weighted features as
LRP加權特徵

Step4: Finally, we forward the LRP-weighted features to the classifier to generate the explanation-guided predictions plrp.最後，我們將LRP加權特徵轉發到分類器，以生成解釋引導的預測plrp