拯救小目标检测！Tiny Person数据集和SM尺度匹配小目标检测新方法

2019 年 12 月 27 日
笔记

前言

Amusi 在2019年整理并分享了很多目标检测相关的论文，其中个人觉得较为亮眼或者说热门的两大阵营就是：Anchor-Free和基于NAS的目标检测。

整体上看，大部分目标检测论文还是在刷 COCO的mAP，部分论文往实时目标检测(FPS > 30)方向走，也就是追求 mAP和FPS的 trade-off。

但其实现实应用中，往往还有个经常要考虑的问题：小目标检测。Amusi 也经常被问到相关的问题：哪个网络检测小目标比较强？有没有小目标检测数据集？近期有小目标检测论文么？

ok，今天分享的就是小目标检测方向的最新论文：Scale Match for Tiny Person Detection。这篇论文的"模式"也是一种较为经典的方式:新数据集+新benchmark，也就是提出了新的小目标检测数据集和小目标检测方法。

Scale Match for Tiny Person Detection

Scale Match(SM)：用于"小人"(Tiny Person)检测

时间：2019年12月24日（已被WACV2020 收录）

作者团队：中国科学院大学

论文链接：https://arxiv.org/abs/1912.10664

代码链接：https://github.com/ucas-vg/TinyBenchmark

摘要：现阶段在大尺度图像中检测微小目标（例如小于20个像素的小人）的研究未得到很好的研究。极小的物体对特征表示(feature representation)提出了巨大挑战，而庞大而复杂的背景却增加了 false alarms。在本文中，作者介绍了一个称为TinyPerson的新基准(benchmark)，它为远距离和大背景下的微小目标检测带来了性能上的改进。

作者通过实验发现，用于网络预训练的数据集和用于检测器学习的数据集之间的尺度失配（mis-match）可能会使特征表示和检测器性能下降。

因此，作者提出了一种简单而有效的尺度匹配（Scale Match）方法，以在两个数据集之间对齐物体尺度，以实现有利的微小目标表示。实验表明，作者提出的方法相对于目前SOTA检测器具有显著的性能提升。TinyPerson benchmark和本文方法的代码将会开源，至于具体时间，大家看一下这句话：

Evaluation rules of AP have updated in benchmark after this paper accepted, So this paper use old rules. we will keep old rules of AP in benchmark, but we recommand the new and we will use the new in latter research.)

Tiny Person

介绍 Tiny Person数据集之前，先介绍两个值 AS 和 RS，这个看下面公式就知道了。wij 和 hij是第 i 幅中第 j 个目标边界框的宽度和高度，Wi 和 Hi是第 i 幅图的宽度和高度。对着符号含义和公式，很容易理解，AS是目标绝对大小，RS是目标相对大小。

作者将 Tiny Person和COCO、Wider Face和CityPersons数据集进行对比，具体数据如下，可见Tiny Person的小目标是真的相对很小。

来一张大图感受一下Tiny Person的标注情况，是不是被震撼到了！

从上图应该能看出，有的框是黄色的，有的框是绿色的，大家看一下这段英文就明白了，这里Amusi 不是偷懒，因为翻译会有点拗口，比如 sea person

“sea person”, “earth person”, “uncertain sea person”, “uncertain earth person”, ignore region are represented with red, green, blue, yellow, purple rectangle, respectively.

TinyPerson 数据集其实图像相对并不多，训练集+测试集也就 1610 幅图像，可能受限于场景问题。但标注框相对蛮多的，平均一幅图上有45个标注框。