清华大学提出:ColorNet 研究颜色空间对图像分类的重要性

  • 2019 年 12 月 31 日
  • 筆記

前戏

前几天更了很多SOTA论文,比如(点击可访问):

【导读】今天分享一篇清华大学刚出的论文,研究思路很新颖。现在很多论文都是改模型,但本文介绍的论文更多的是从数据角度(颜色空间)来分析,也有点像数据增广的意思。在常用的图像分类数据集上,改进效果十分明显。

注:Amusi认为这篇论文对于你当前的研究会有一定帮助(特别是从事图像分类、目标检测和图像分割等方向的同学)

正文

《ColorNet: Investigating the importance of color spaces for image classification》

arXiv: https://arxiv.org/abs/1902.00267

github:None

作者团队:清华大学

ACCV 2018

注:2019年02月01日出的paper

Abstract:图像分类是计算机视觉中的基本应用。最近,更深的网络和高度连接的网络已经显示出图像分类任务的最新性能。如今,大多数数据集都包含有限数量的彩色图像。这些彩色图像以RGB图像的形式作为输入,并且在不修改它们的情况下进行分类。我们探索色彩空间的重要性,并表明色彩空间(基本上是原始RGB图像的变换)可以显著影响分类准确性。此外,我们展示了某些类别的图像在特定颜色空间中更好地表示,并且对于具有高度变化的类别(例如CIFAR和ImageNet)的数据集,使用考虑同一模型中的多个颜色空间的模型提供了极好的准确度。此外,我们展示了这样一种模型,其中输入被同时预处理成多个颜色空间,需要更少的参数来获得高分类精度。例如,我们的1.75M参数模型明显优于具有12M参数的DenseNet 100-12,其结果与Densenet-BC-190-40相当,后者具有25.6M参数,用于分类四个竞争图像分类数据集,即:CIFAR-10, CIFAR-100,SVHN和Imagenet。我们的模型基本上将RGB图像作为输入,同时将图像转换为7个不同的颜色空间,并将它们用作各个密集网络的输入。我们使用小而宽的密集网来减少计算开销和所需的超参数数量。我们还对这些数据集的当前最新结果进行了显著改进。

基础图像处理知识

RGB to HSV

RGB to HSV

RGB to CIE XYZ

RGB to CIE XYZ

RGB to CMYK

RGB to CMYK

所提出的网络结构

输入RGB图像同时转换为6个其他颜色空间(LAB、HSV、YUV、YCbCR、HED和YIQ),将这7种颜色空间的图像数据传递给单独的DenseNet。然后将每个DenseNet的输出分数传递到Dense Layer,这有助于对每个颜色空间进行加权预测。Dense Layer的输出用作最终分类。

Architecture of proposed model

实验结果

论文对CIFAR-10,CIFAR-100,SVHN和ImageNet进行了实验评估。

CIFAR-10

CIFAR-100

ImageNet

SVHN

注:实验效果真的很震撼,我觉得这篇论文的思路对当前很多work有很大的帮助。讨论数据本身,有效的数据增广,可能比单纯的改模型效果更加实际。