重磅！小目標檢測的數據增廣秘籍
- 2019 年 12 月 31 日
- 筆記
前戲
最近目標檢測方向，出了很多paper，CVer也立即跟進報道（點擊可訪問）：
本文介紹一篇很棒的小目標檢測數據增廣論文。該論文是由Tensorflight 提出。之前Amazon提出目標檢測訓練的Tricks論文，詳見 亞馬遜提出：目標檢測訓練秘籍（代碼已開源）
簡介
《Augmentation for small object detection》
arXiv: https://arxiv.org/abs/1902.07296
github: None
作者團隊：Tensorflight等
註：2019年02月19日剛出爐的paper
Abstract：近年來，目標檢測取得了令人矚目的進展。儘管有這些改進，但在檢測小物體和大物體之間的性能仍然存在顯著差距。我們在具有挑戰性的數據集MS COCO上分析當前最先進的模型Mask-RCNN。我們表明，小 ground-truth 物體與預測錨點之間的重疊遠低於預期的IoU閾值。我們猜想這是由於兩個因素造成的：（1）只有少數圖像包含小目標，（2）即使在包含它們的每個圖像中，小目標也看起來不夠。因此，我們建議對這些帶有小目標的圖像進行過採樣，並通過多次 copy-pasting 小目標來對每個圖像進行增強。它允許我們將大型目標上的檢測器質量與小物體上的檢測器質量進行權衡。我們評估了不同的 pasting 增強策略，最終，與MS COCO上的當前最先進的方法相比，我們在實例分割上實現了9.7％的相對提升，在小目標的目標檢測上提升了7.1 ％。
正文
背景
先看一下表1了解一下為什麼要針對小目標進行優化。表1 是MS COCO實例分割挑戰賽的排名情況，可見曠視科技排名No.1，排名第二的是…這不是重點，重點是紅色標註的AP Small數據。AP Small明顯低於AP Medium和AP Large。因此本文要研究的是如何提高AP Small。
表1. In the top submissions for MS COCO instance segmentation challenge
主要貢獻
1. 該論文的baseline：Mask R-CNN+FPN+ResNet-50
圖1. Anchors positively assigned (IoU > 0.5) to ground truth objects during training in the Mask-RCNN network
2. 論文主要對COCO 數據集進行了分析：
在MS COCO中，訓練集中出現的所有目標中有41.43％是小的，而只有34.4％和24.2％分別是中型和大型目標。另一方面，只有約一半的訓練圖像包含任何小物體，而70.07％和82.28％的訓練圖像分別包含中型和大型物體。 請參閱表2中的對象計數和圖像。這確認了小對象檢測問題背後的第一個問題：使用小對象的示例較少。
表2. The MS COCO dataset objects statistics with respect to matched anchors in Mask-RCNN based on RPN
具體創新點
1. Oversampling
在第一組實驗中，我們研究了包含小目標的過採樣圖像的影響。我們在實驗中改變了過採樣率。我們創建了多個圖像副本，而不是實際的隨機過採樣，以提高效率。
2. Augmentation
在第二組實驗中，我們研究了使用增強對小目標檢測和分割的影響。 我們複製並粘貼每個圖像中的所有小目標一次。 我們還用對含有小目標的圖像進行過採樣，以研究過採樣和增強策略之間的相互作用。
我們測試了三種設置。 在第一個設置中，我們用帶有 copy-pasted 的小目標的圖像替換每個圖像。在第二個設置中，我們複製這些增強圖像以模擬過採樣。在最終設置中，我們保留原始圖像和增強圖像，這相當於用小目標對圖像進行過度採樣兩倍，同時用更小的目標擴充複製的副本。
3. Copy-Pasting Strategies
有不同的方法來複制粘貼小目標。我們考慮三種策略。 首先，我們在圖像中選擇一個小目標，並在隨機位置複製粘貼多次。 其次，我們選擇了許多小目標，並在任意位置複製粘貼這些目標一次。 最後，我們在隨機位置多次複製粘貼每個圖像中的所有小目標。 在所有情況下，我們使用上面第三個增強設置; 也就是說，我們保留原始圖像和增強副本。
4. Pasting Algorithms
粘貼小目標的副本時，有兩件事需要考慮。 首先，我們必須確定粘貼的目標是否會與任何其他目標重疊。雖然我們選擇不引入任何重疊，但我們通過實驗驗證它是否是一個好的策略。其次，是否執行添加過程以平滑粘貼對象的邊緣是一種設計選擇。我們試驗具有不同濾波器尺寸的邊界的高斯模糊是否可以幫助進一步處理。
實驗結果
上述4點方法對小目標檢測都有一定改進，具體結果如下圖所示：
論文在實例分割上實現了9.7％的相對提升，在小目標的目標檢測上提升了7.1 ％。
