【影像分類】標籤雜訊對分類性能會有什麼樣的影響？

不同類型的雜訊會對模型的分類性能產生什麼樣的影響呢，讓我們一同進行實驗，來探索那暗中作祟的標籤雜訊！

作者&編輯 | 郭冰洋

1 簡介

在數據集製作過程中，由於主觀、客觀的原因，會導致標籤雜訊的出現，其存在會對最終的分類模型性能造成一定的影響。因此，在實際應用過程中，總是要對現有的數據集進行清洗，以避免標籤雜訊的干擾。

常見的標籤雜訊包括跨類別雜訊和隨機雜訊兩種。跨類別雜訊是指屬於數據集某一確定類別的圖片，被誤分至屬於數據集的另一確定類別。隨機雜訊是指屬於數據集某一確定類別的圖片中，有大量與類別標籤不相關的圖片，同時這些圖片不屬於數據集中的任何一類。

本篇文章我們將以Cifar 10、Cifar 100數據集作為實驗數據，對標籤雜訊進行探究，以測試不同類型、不同比例的雜訊對分類模型的影響。

2 實驗記錄

2.1 無標籤雜訊的訓練結果

首先我們通過構建最基本的CNN網路對兩個數據進行分類，在正常圖片且無標籤雜訊的情況下，Cifar 10和Cifar 100分別取得了89.2%和65.8%的準確率，以此作為基礎結果，我們將分別添加不同的雜訊進行對比。

2.2 含標籤雜訊的訓練結果

通過設置不同的雜訊類別和比例，對其進行訓練後我們得出相應的準確率，可以發現隨著雜訊比例的增加，分類模型的準確率會受到相應的影響，跨類雜訊的影響明顯更大。

對比實驗的結果告訴我們，標籤雜訊的存在會對模型產生一定的影響，這一影響在數據集容量相對較少時會更加明顯，這是目前急需解決的一個問題。

3 解決方案

3.1 混淆矩陣推理

為了減少雜訊的影響，最直接的方法是人工對數據集中的錯誤標籤進行一一篩選，但這樣會耗費大量的人力和時間，並非最可取的方法。

在評價分類模型的準確率時，我們往往會通過分析混淆矩陣以查看不同類別的預測結果，通過混淆矩陣我們可以得到每個類別預測正確和錯誤的個數，近似的認為預測錯誤的類別屬於跨類標籤雜訊。

在跨類雜訊比例20%的情況下，我們得出相應的混淆矩陣結果如上表所示，可以看出每個類別中均有預測錯誤的樣本出現。

針對這些錯誤的預測樣本，隨機將其劃入其他類別，並進行重新訓練，若混淆矩陣的預測結果可以得到進一步的提升，則保留影像至該正確樣本。

通過3次的迭代訓練，我們對模型的結果進行重新評估，可以發現其準確率得到的非常大的提升。

3.2 數據統計分析

除了上述根據混淆矩陣的結果進行迭代修正的方法，目前主流的方法還包括數據統計分析，即通過對現有的影像數據進行相應的預處理，藉助回歸分析、分箱分析等傳統的機器學習演算法，事先剔除不屬於某一類別的影像，然後進行訓練。隨後再對剔除的影像進行測試，得到對應的預測類別後重新劃分數據集，再進行重新訓練。

總結

迭代訓練的方式可以減少人工修改標籤的時間，但同樣會消耗一定的訓練時間，目前還沒有一個完全高效妥善的方式可以解決這一問題，因此還需要各位去發掘更多更有效的演算法去解決這一問題。