論文閱讀《few-shot image classification with multi-facet prototypes》
- 2022 年 2 月 23 日
- AI
Hello~
兩個月沒更新啦
年都過了 虎年大吉呀大家
把剩下的一點關於小樣本學習的論文閱讀更新完~
後續就是隨緣更新啦
有需要交流可以簡信啦
論文名稱：
《few-shot image classification with multi-facet prototypes》
論文地址：//arxiv.org/pdf/2102.00801.pdf
Background
a.The aim of few-shot learning (FSL) is to learn how to recognize image categories from a small number of training examples.
b.A central challenge is that the available training examples are normally insufficient to determine which visual features are most characteristic of the considered categories.
c.Methods only rely on visual features.However, in addition to the training examples, we usually also have access to the names of the image categories to be learned
1.小樣本學習的目的是學習如何從少量的訓練示例中識別影像類別。
2.一個挑戰是：可用的訓練例子通常不足以確定哪些視覺特徵是最考慮的特徵
3.大都方法只依賴於視覺特徵。
然而，除了訓練示例外，我們通常也可以訪問要學習的影像類別的名稱。
Work
a.we organise these visual features into facets, which intuitively group features of the same kind (e.g.features that are relevant to shape, color, or texture).
b.assumption that (i) the importance of each facet differs from category to category and (ii) it is possible topredict facet importance from a pre-trained embedding of the category names.
c.In particular, we propose an adaptive similarity measure, relying on predicted facet importance weights for a given set of categories
1.我們將視覺特徵分為幾個方面，它們直觀地將相同類型的特徵分組。例如，形狀、顏色或紋理相關的特徵。
2.本文基於這樣一個假設：(i)每個方面的重要性因類別而不同
(ii)可以從預先訓練好的嵌入類別名稱來預測方面的重要性。
3.最後我們提出了一種自適應相似度度量，它依賴於預測的方面重要性權重。
Method
a.Taking embeddings of class names into account.
b.Different from existing methods, we use these class name embeddings to predict the performance of different facets, and then measure the distance between images and prototypes as a weighted sum of facet-specific distances.
c.The resulting facet-based distance can then be combined with a standard distance, e.g. the Euclidean distance in the case of ProtoNet
1.我們通過類名的嵌入，來提高基於度量的少鏡頭影像分類方法的性能。
2.與現有的方法不同，我們使用這些類名嵌入來預測不同方面的性能，然後測量影像和原型之間的距離作為特定方面的距離的加權和。然後，由此產生的基於面的距離可以與一個標準距離相結合，例如。原型網路中的歐氏距離。Facet Identification
給定這些重要性分數，我們可以測量查詢影像q和類c的原型之間的距離，作為特定面距離的加權和。
Experiments
在兩個標準數據集上進行的實驗表明，與最先進的方法相比，我們的模型有了一定的改進。我們還發現，從BERT語言模型中獲得的類名嵌入比GloVe向量產生了更好的結果，儘管後者在FSL模型中一直很流行。
其實本文也是有跨模態（nlp）與影像的結合，即將類名嵌入與小樣本影像識別相融合。
END
一切順利呀！
