Facebook AI研究院Xinlei Chen與Kaiming He的無監督學習文章SimSiam文章簡介

Exploring Simple Siamese Representation Learning閱讀筆記

Facebook AI研究院Xinlei Chen與Kaiming He近期的一篇無監督學習又一大作。

習慣看到大神的文章,就拿下來讀一讀,跟隨大神的腳步,修鍊AI。

一、論文摘要

無監督視覺表達學習中,孿生網絡已經成為很多模型的通用架構。這些模型最大化同一圖像的兩個增廣後版本的相似性,使其避免**「崩潰解(collapsing solutions)」的問題。在這篇論文中,作者報道了令人驚奇的實驗結果,簡單的孿生網絡在沒有如下結構的情況下可以學習到非常有意義的表示:(i)negative sampler pairs(負樣本對),(ii)large bacth(非常大的batch),(iii)momentum encoder(動量編碼器)。實驗發現對於loss函數與架構來說”崩潰”的情況確實存在,但是“stop-gradient”的操作對於防止崩潰**有很大的作用。針對”stop-gradient“的含義,作者提供了一個假設,並採用概念證明來驗證這個想法。「SimSam」方法在ImageNet以及一些其他的任務中實現了競爭性的結果。我們希望這種簡單的baseline會激發人們重新考慮孿生網絡在無監督學習中的作用。

SimSiam的主要框架:

simsam1.png

二、 論文主要思想

論文提出了一個簡單的無監督網絡架構,基本網絡結構是一個孿生網絡,不採用常用的孿生網絡的一些基本的方法:i)negative sampler pairs(負樣本對),(ii)large bacth(非常大的batch),(iii)momentum encoder(動量編碼器),也能夠得到較好的效果。

通過一個**”stop-gradient”的操作對於崩潰**的防止起到了至關重要的作用。zuoyong

以下幾種方法的對比:

simsam5.png

本文提出的簡單孿生網絡的基本結構就是:

  • 沒有negative樣本對的SimCLR
  • 沒有在線聚類的SwAV
  • 沒有動量編碼器的BYOL

算法偽代碼(非常簡單):

simsam2.png

其中主要的部分就是加入了**”stop-gradient”**,這個部分作者通過實驗證明 ,這個操作對於防止「崩潰解」有非常重要的作用。

simsam4.png

這裡的實驗曲線證明,**”stop-gradient”**對於防止「崩潰解」有很重要的作用。從上邊實驗曲線可以看出,在沒有Stop-gradient時,優化器迅速找了了一個退化解並達到了最小可能損失-1(這裡採用餘弦相似的和作為損失)。為證實上述退化解是「崩潰」導致的,作者研究了輸出的規範化結果的標準差。如果輸出「崩潰」到了常數向量,那麼其每個通道的標準差應當是0,上圖中間的實驗曲線說明這個問題。

上圖最右側的KNN分類準確率更能說明在沒有Stop-gradient的情況下確實存在着「崩潰解「的問題,使用Stop-gradient能夠有效的環節這個問題。

文中的實驗還對於predictor MLP的作用分析,以及BN層的作用的影響分析。給出了一些數學推導結果。

論文地址://arxiv.org/abs/2011.10566

專欄所有文章請點擊下列文章列表查看:

知乎專欄:小哲AI專欄文章分類索引跳轉查看

AI研習社專欄:小哲AI專欄文章分類索引