結果真的可靠嗎？如何避免高置信度的錯誤預測 | 附源碼

• 2019 年 10 月 4 日
• 筆記

來源：CSIG文檔影像分析與識別專委會

本文簡要介紹CVPR 2019的Oral論文：Why ReLU Networks Yield High-Confidence Predictions Far Away From the Training Dataand How to Mitigate。該文章主要解決的問題是：在已知分布以外的樣本上，神經網路預測結果的置信度過高。開源程式碼：https://github.com/max-andr/relu_networks_overconfident

一、研究背景

神經網路擬合能力極強。通常來說，提供足夠多的訓練樣本，神經網路的魯棒性能極大提高。然而，神經網路的魯棒性提高了，也帶來了風險。例如，將一個在CIFAR 10數據集（10類普通物體）上訓練的神經網路，放到SVHN數據集（街景門牌）上做測試，該模型竟然能夠以100%的置信度將門牌識別為狗、鳥和飛機等。這個現象引發了一個問題：神經網路的預測什麼時候是可靠的，具體來講，當這個樣本在已知分布以外時，神經網路能不能以較低的置信度表示沒有學習過這種樣本，避免高置信度的錯誤預測？

圖1.高置信度錯誤樣本示例（影像來源：https://github.com/max-andr/relu_networks_overconfident）

二、主要貢獻

這篇文章主要通過理論建模，解釋ReLU帶來的高置信度問題，並提出兩種訓練方式，即confidence enhancing data augmentation（CEDA）和adversarial confidence enhancingtraining （ACET），來緩解上述的不良情況。

三、基本理論

首先，作者先給出定義，什麼是piecewise affine functions[1] ：

這裡的線性區域的顯式上界已經在[2] 中討論。與[3] 類似，帶有ReLU的線性變換（如全連接層）可以寫為：

作者引入兩個對角矩陣：

則線性變換可以表示為：

為了進一步簡化表示，作者將上述式子簡寫為：

其中，

四、高置信度問題

在解釋ReLU帶來的高置信度問題前，作者先給出引理：

緊接著是數值上的討論：

上述的證明過程請見該論文的補充材料。

五、兩種訓練方式

作者提出了兩種訓練方式，一種是從數據層面來改善，例如攻擊樣本，另一種是在loss方程上的改進。兩種方法的名稱分別是confidence enhancingdata augmentation（CEDA）和adversarialconfidence enhancing training （ACET）。

數據增廣CEDA上，每個batch加入λB張雜訊影像，服從pout分布，這個做法類似[4] ：

其中，

另一種ACET方法最小化下列的表達式：

其中，p設置為正無窮大，即與u差距最大的z起重要作用：

六、實驗結果

作者在MNIST, SVHN, CIFAR-10 和CIFAR100上進行實驗。在一個數據集上訓練，在其餘的數據集上測試，觀察置信度的分布情況。實驗發現，CEDA和ACET都能顯著緩解本文開頭闡述的問題，即神經網路對已知分布以外的樣本置信度過高的問題。在CIFAR-100上，最好的指標均來自ACET方法。

為了進一步闡述該文章的效果，作者在項目主頁上（https://github.com/max-andr/relu_networks_overconfident），給出了Two Moon Dataset上的二分類可視化結果。對於圖2中紅色和綠色兩個半月形的訓練樣本，簡單的分類器只會在兩個類別中間畫出N字型的低置信度區域。雖然模型並沒有見過左上部分和右下部分的數據，但它仍然會在這一大片區域給出100%置信度的分類預測。

圖2.簡單的二分類模型的置信度

作者使用CEDA的方法訓練模型，由圖3能夠得知，對於訓練數據以外的大部分數據，模型都能給出比較低置信度的預測。

圖3.基於CEDA的二分類模型的置信度

由於CEDA增加了額外訓練樣本，消耗更多訓練時間，且對訓練樣本臨近域的樣本的甄別效果依然較差，所以作者使用ACET方法訓練的模型，它的高置信度數據區域會更少，如圖4所示。

圖4.基於ACET的二分類模型的置信度

七、總結與討論

本文提出了一個重要問題：帶有ReLU的神經網路模型在已知分布以外的樣本上置信度過高。這是一個需要權衡的問題，模型首先不能過擬合於訓練集（overfitting），但是也不能對訓練集以外的未知分布的樣本過度自信（over confidence）。本文提出的CEDA和ACET通過挖掘訓練集分布邊緣的樣本來提高模型對分布邊緣的敏感度，抑制模型過度自信。這是一個很重要卻少有學者思考的問題，該論文初步緩解了這個問題，也給未來更多的問題帶來啟發，例如少樣本或零樣本學習問題、類別分布不均勻（拖尾）問題等。

參考文獻

[1] R. Arora, A.Basuy, P. Mianjyz, and A. Mukherjee.Understanding deep neural networks withrectified linear unit. In ICLR, 2018.

[2] G. Montufar, R.Pascanu, K. Cho, and Y. Bengio. On the number of linear regions of deep neuralnetworks. In NIPS, 2014.

[3] F. Croce and M.Hein. A randomized gradient-free attack on relu networks. In GCPR, 2018.

[4] D. Hendrycks, M.Mazeika, and T. Dietterich. Deep anomaly detection with outlier exposure. InICLR, 2019.

原文作者：Matthias Hein,Maksym Andriushchenko,Julian Bitterwolf

撰稿：羅燦傑/陳向樂

編排：高 學

審校：殷 飛

發布：金連文

免責聲明：（1）本文僅代表撰稿者觀點，個人理解及總結不一定準確及全面，論文完整思想及論點應以原論文為準。（2）本文觀點不代表本公眾號立場。