清華大學提出:ColorNet 研究顏色空間對影像分類的重要性
- 2019 年 12 月 31 日
- 筆記
前戲
前幾天更了很多SOTA論文,比如(點擊可訪問):
【導讀】今天分享一篇清華大學剛出的論文,研究思路很新穎。現在很多論文都是改模型,但本文介紹的論文更多的是從數據角度(顏色空間)來分析,也有點像數據增廣的意思。在常用的影像分類數據集上,改進效果十分明顯。
註:Amusi認為這篇論文對於你當前的研究會有一定幫助(特別是從事影像分類、目標檢測和影像分割等方向的同學)
正文
《ColorNet: Investigating the importance of color spaces for image classification》
arXiv: https://arxiv.org/abs/1902.00267
github:None
作者團隊:清華大學
ACCV 2018
註:2019年02月01日出的paper
Abstract:影像分類是電腦視覺中的基本應用。最近,更深的網路和高度連接的網路已經顯示出影像分類任務的最新性能。如今,大多數數據集都包含有限數量的彩色影像。這些彩色影像以RGB影像的形式作為輸入,並且在不修改它們的情況下進行分類。我們探索色彩空間的重要性,並表明色彩空間(基本上是原始RGB影像的變換)可以顯著影響分類準確性。此外,我們展示了某些類別的影像在特定顏色空間中更好地表示,並且對於具有高度變化的類別(例如CIFAR和ImageNet)的數據集,使用考慮同一模型中的多個顏色空間的模型提供了極好的準確度。此外,我們展示了這樣一種模型,其中輸入被同時預處理成多個顏色空間,需要更少的參數來獲得高分類精度。例如,我們的1.75M參數模型明顯優於具有12M參數的DenseNet 100-12,其結果與Densenet-BC-190-40相當,後者具有25.6M參數,用於分類四個競爭影像分類數據集,即:CIFAR-10, CIFAR-100,SVHN和Imagenet。我們的模型基本上將RGB影像作為輸入,同時將影像轉換為7個不同的顏色空間,並將它們用作各個密集網路的輸入。我們使用小而寬的密集網來減少計算開銷和所需的超參數數量。我們還對這些數據集的當前最新結果進行了顯著改進。
基礎影像處理知識
RGB to HSV
RGB to HSV
RGB to CIE XYZ
RGB to CIE XYZ
RGB to CMYK
RGB to CMYK
所提出的網路結構
輸入RGB影像同時轉換為6個其他顏色空間(LAB、HSV、YUV、YCbCR、HED和YIQ),將這7種顏色空間的影像數據傳遞給單獨的DenseNet。然後將每個DenseNet的輸出分數傳遞到Dense Layer,這有助於對每個顏色空間進行加權預測。Dense Layer的輸出用作最終分類。
Architecture of proposed model
實驗結果
論文對CIFAR-10,CIFAR-100,SVHN和ImageNet進行了實驗評估。
CIFAR-10
CIFAR-100
ImageNet
SVHN
註:實驗效果真的很震撼,我覺得這篇論文的思路對當前很多work有很大的幫助。討論數據本身,有效的數據增廣,可能比單純的改模型效果更加實際。