商湯使用AutoML設計Loss函數，全面超越人工設計

深度學習領域，神經架構搜索得到的算法如雨後春筍般出現。

今天一篇arXiv論文《AM-LFS: AutoML for Loss Function Search》，商湯科技揭示使用AutoML方法設計Loss函數，在圖像分類、人臉比對、行人重識別等任務中驗證其比人工設計的Loss更優秀。

論文作者信息：

其主要思想是設計一種有效的搜索空間，使其可以囊括基於間隔的softmax loss函數（擁有鑒別表示的能力），和以Focal Loss為代表的的重加權方法（解決樣本不平衡問題）。

下圖是作者提出的搜索空間與現有loss函數的示例，

可見在作者提出的搜索空間里，可以有效近似現存的優秀的手工設計的loss函數。

AM-LFS 偽代碼步驟：

通過不斷的增加epoch選擇最高分數R，更新模型，得到最終的loss函數模型。

實驗結果

作者在CIFAR-10進行了分類實驗：

相比softmax baseline 顯然取得了更好的結果。

作者在人臉比對數據集MageFace上進行了實驗：

取得了超越目前state-of-the-art ArcFace的精度。

下面是在行人重識別問題上兩個數據集的結果：

相同特徵提取算法換上新的loss 函數，取得了明顯的精度提升。

論文地址：

https://arxiv.org/pdf/1905.07375v1.pdf