重磅！小目标检测的数据增广秘籍
- 2019 年 12 月 31 日
- 筆記
前戏
最近目标检测方向，出了很多paper，CVer也立即跟进报道（点击可访问）：
本文介绍一篇很棒的小目标检测数据增广论文。该论文是由Tensorflight 提出。之前Amazon提出目标检测训练的Tricks论文，详见 亚马逊提出：目标检测训练秘籍（代码已开源）
简介
《Augmentation for small object detection》
arXiv: https://arxiv.org/abs/1902.07296
github: None
作者团队：Tensorflight等
注：2019年02月19日刚出炉的paper
Abstract：近年来，目标检测取得了令人瞩目的进展。尽管有这些改进，但在检测小物体和大物体之间的性能仍然存在显著差距。我们在具有挑战性的数据集MS COCO上分析当前最先进的模型Mask-RCNN。我们表明，小 ground-truth 物体与预测锚点之间的重叠远低于预期的IoU阈值。我们猜想这是由于两个因素造成的：（1）只有少数图像包含小目标，（2）即使在包含它们的每个图像中，小目标也看起来不够。因此，我们建议对这些带有小目标的图像进行过采样，并通过多次 copy-pasting 小目标来对每个图像进行增强。它允许我们将大型目标上的检测器质量与小物体上的检测器质量进行权衡。我们评估了不同的 pasting 增强策略，最终，与MS COCO上的当前最先进的方法相比，我们在实例分割上实现了9.7％的相对提升，在小目标的目标检测上提升了7.1 ％。
正文
背景
先看一下表1了解一下为什么要针对小目标进行优化。表1 是MS COCO实例分割挑战赛的排名情况，可见旷视科技排名No.1，排名第二的是…这不是重点，重点是红色标注的AP Small数据。AP Small明显低于AP Medium和AP Large。因此本文要研究的是如何提高AP Small。
表1. In the top submissions for MS COCO instance segmentation challenge
主要贡献
1. 该论文的baseline：Mask R-CNN+FPN+ResNet-50
图1. Anchors positively assigned (IoU > 0.5) to ground truth objects during training in the Mask-RCNN network
2. 论文主要对COCO 数据集进行了分析：
在MS COCO中，训练集中出现的所有目标中有41.43％是小的，而只有34.4％和24.2％分别是中型和大型目标。另一方面，只有约一半的训练图像包含任何小物体，而70.07％和82.28％的训练图像分别包含中型和大型物体。 请参阅表2中的对象计数和图像。这确认了小对象检测问题背后的第一个问题：使用小对象的示例较少。
表2. The MS COCO dataset objects statistics with respect to matched anchors in Mask-RCNN based on RPN
具体创新点
1. Oversampling
在第一组实验中，我们研究了包含小目标的过采样图像的影响。我们在实验中改变了过采样率。我们创建了多个图像副本，而不是实际的随机过采样，以提高效率。
2. Augmentation
在第二组实验中，我们研究了使用增强对小目标检测和分割的影响。 我们复制并粘贴每个图像中的所有小目标一次。 我们还用对含有小目标的图像进行过采样，以研究过采样和增强策略之间的相互作用。
我们测试了三种设置。 在第一个设置中，我们用带有 copy-pasted 的小目标的图像替换每个图像。在第二个设置中，我们复制这些增强图像以模拟过采样。在最终设置中，我们保留原始图像和增强图像，这相当于用小目标对图像进行过度采样两倍，同时用更小的目标扩充复制的副本。
3. Copy-Pasting Strategies
有不同的方法来复制粘贴小目标。我们考虑三种策略。 首先，我们在图像中选择一个小目标，并在随机位置复制粘贴多次。 其次，我们选择了许多小目标，并在任意位置复制粘贴这些目标一次。 最后，我们在随机位置多次复制粘贴每个图像中的所有小目标。 在所有情况下，我们使用上面第三个增强设置; 也就是说，我们保留原始图像和增强副本。
4. Pasting Algorithms
粘贴小目标的副本时，有两件事需要考虑。 首先，我们必须确定粘贴的目标是否会与任何其他目标重叠。虽然我们选择不引入任何重叠，但我们通过实验验证它是否是一个好的策略。其次，是否执行添加过程以平滑粘贴对象的边缘是一种设计选择。我们试验具有不同滤波器尺寸的边界的高斯模糊是否可以帮助进一步处理。
实验结果
上述4点方法对小目标检测都有一定改进，具体结果如下图所示：
论文在实例分割上实现了9.7％的相对提升，在小目标的目标检测上提升了7.1 ％。
