­

分類問題的label為啥必須是 one hot 形式?

  • 2019 年 12 月 23 日
  • 筆記

作者:桔了個仔 鏈接:https://www.zhihu.com/question/359742335/answer/930586793 來源:知乎

其實真不一定必須用one hot,不過用one hot時,主要因素包括:

  • one hot的形式無法比較大小。如果你預測的label是蘋果,雪梨,香蕉,草莓這四個,顯然他們不直接構成比較關係,但如果我們用1,2,3,4來做label就會出現了比較關係,labe之間的距離也不同。有了比較關係,第一個label 和最後一個 label的距離太遠,影響模型的學習。因為模型覺得label 1和label 2最像,和最後一個label 最不像。不過當你的label之間存在直接的比較關係,就可以直接用數字當label。例如你做一個風控模型,預測的是四個風險類別[低,中,高,緊急],其實你也可以用1,2,3,4來做label,因為確實存在一個比較。但這本質上就成了回歸問題。
  • one hot的形式還可以計算top N準確度。預測的結果將會是[0.1, 0.6, 0.2, 0.1]這樣的形式,我們一般取概率最高的那個為預測結果,假設這四個label還是[蘋果,雪梨,香蕉,草莓],如果真實的結果是雪梨,那麼這個結果是top1 準確的。但如果實際結果是香蕉,但香蕉的概率排第二,那麼這個結果也是top 2準確的。top N準確率在推薦類應用中很常用,你購物時經常會看到物品下方有N個推薦搭配,如果推薦模型的top N準確率越高,那麼這個購物推薦的最後轉化效果就越好。