怎麼樣去處理樣本不平衡問題 | （文後分享大量檢測+分割框架）

背景

2020 Happy New Year

《Residual Objectness for Imbalance Reduction》。樣本不平衡問題感覺近期研究的論文相對較多，如：2019 AAAI GHM，2019 CVPR AP-loss， 還有2019 DR loss， 2019 IoU-balanced loss，two-stage中也有Libra RCNN，都是關注樣本不平衡的問題。該論文給出了一種可行的方案，即採用學習的方法來處理樣本不平衡問題。

論文地址：https://arxiv.org/abs/1908.09075

動機

之前所有處理樣本不平衡問題的論文都是採用reweight或者取樣的方法，並且都是基於手工調優的，例如RetinaNet需要設置FL的參數，GHM則要設置bins的數目和momentum的大小。該論文則提出了一種基於學習的方法來處理樣本不平衡問題，不僅性能更好，而且能自適應不同的數據集。

模型框架

RetinaNet-Obj

作者首先引入了另一種不同於Focal Loss處理樣本不平衡問題的方法，即借鑒YOLO的方法，在head部分同時引入Objectness subnet的分支，在推理的時候採用如下公式：

通過公式推導，該方法最後和FL loss的效果基本是等價的，在實驗結果中基本也是相同的。

Residual Objectness

分析RetinaNet-Obj中Obj分支同樣存在樣本不平衡的問題，自然地想到繼續採用另一個obj來處理第一個Obj的樣本不平衡問題。在這裡，作者引入了res-obj結構：

通過residual來修正原有的obj分數，公式如下：

注意此處其實只針對大於一定分數的obj來做（分數為正例中分數的最小值），這樣就能夠提高正例的分數，相當於給正例加了權重，從而解決obj中正負樣本不平衡問題。具體演算法如下：

實驗結果

從最終結果來看，該方法遷移到不同方法上均有性能提升，在RetinaNet中有1個點的提升，和GHM相當；在YOLOV3和Faster RCNN中也有1個點的提升。如下：

檢測+分割

目標檢測

  1. 生成正邊界框以平衡目標檢測器的訓練 《Generating Positive Bounding Boxes for Balanced Training of Object Detectors》WACV2020 作者團隊：中東科技大學
  2. 優於BN/GN/LN和IN！Google提出新的歸一化方法：FRN 《Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks》 作者團隊：Google Research
  3. 目標檢測中主動學習的自適應監督框架 BMVC 2019 Date：2019 Author：印度理工學院&東京大學—An Adaptive Supervision Framework for Active Learning in Object Detection》
  4. 用於目標檢測的輕量級RetinaNet Date：20190527 Author：亞利桑那州立大學 — 《Light-Weight RetinaNet for Object Detection》
  5. SkyNet：低功耗目標檢測的冠軍模型（DAC-SDC 挑戰賽） 註：SkyNet超越 Tiny YOLO，YOLOv2，SSD，MobileNet等組合演算法，實時運行在TX2（GPU）+ Ultra96（FPGA）上 Date：2019 Author：IBM & Inspirit IoT — 《SkyNet: A Champion Model for DAC-SDC on Low Power Object Detection》
  6. #顯著性目標檢測# Contour Loss：用於顯著性目標檢測的邊界感知學習 註：專門用於顯著性目標檢測的損失函數 Date：2019 Author：中山大學 —《Contour Loss: Boundary-Aware Learning for Salient Object Segmentation》
  7. #3D目標檢測# SS3D：使用IoU Loss的單目3D目標檢測 Date：2019 Author：查爾姆斯理工大學 & Zenuity AB —《Monocular 3D Object Detection and Box Fitting Trained End-to-End Using Intersection-over-Union Loss》
  8. #影片目標檢測# STCA：具有時空上下文聚合的影片目標檢測 註：STCA超越MANet、STSN等影片目標檢測演算法，但不明白為什麼只在ImageNet VID數據集上進行比較呢？Date：2019 Author：華中科技大學&地平線 —《Object Detection in Video with Spatial-temporal Context Aggregation》
  9. #基於深度學習的目標檢測最新進展（2013-2019）# 註：這才是目標檢測綜述！40頁，256篇參考文獻，從2013 OverFeat到2019 NAS-FPN/CenterNet/DetNAS，涵蓋檢測機制、學習策略和應用方向等內容。還給出VOC/COCO數據集下的演算法全面對比 Date：2019 Author：新加坡管理大學等 —《Recent Advances in Deep Learning for Object Detection》
  10. #目標檢測# 檢測11000類目標：沒有細粒度邊界框的大規模目標檢測 《Detecting 11K Classes: Large Scale Object Detection without Fine-Grained Bounding Boxes》ICCV2019 Date：2019 Author：亞馬遜
  11. #(已開源)目標檢測# NDFT：研究無人機影像的目標檢測：深度 Nuisance Disentanglement 《Delving into Robust Object Detection from Unmanned Aerial Vehicles: A Deep Nuisance Disentanglement Approach》ICCV2019 Date：2019 Author：德克薩斯A&M大學 & 美國陸軍研究實驗室
  12. #3D目標檢測# Fast Point R-CNN 註：在 KITTI 上 mAP SOTA，速度可達 15 FPS ！Date：2019 Author：港中文&騰訊優圖 —《Fast Point R-CNN》
  13. C-RPN：通過RPN的級聯結構改進目標檢測 《C-RPNs: Promoting Object Detection in real world via a Cascade Structure of Region Proposal Networks》 註：解決樣本不均衡問題/hard example mining Date：2019 Author：北京大學&鵬城實驗室
  14. 交通標誌檢測系統的深度神經網路評估 《Evaluation of deep neural networks for traffic sign detection systems 》 註：本文比較各目標檢測演算法在交通標誌檢測和識別任務中的綜合性能。一共比較了8種模型(Faster R-CNN, R-FCN, SSD和 YOLO V2))，用5項指標（mAP/FPS/參數/記憶體/FLOPS）進行評價 Date：2019 Author：塞維利亞大學等
  15. 面向高解析度的顯著性目標檢測 ICCV2019 註：開源一個高解析度顯著性目標檢測數據集：HRSOD Date：2019 Author：大連理工大學&Adobe—《Towards High-Resolution Salient Object Detection》
  16. #3D目標檢測# CBGS：類均衡的分組和取樣，用於點雲三維物體檢測的 《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》 Date：2019 Author：曠視&中科院&清華
  17. 通過特徵重新加權進行Few-shot目標檢測 《Few-shot Object Detection via Feature Reweighting》ICCV2019 Date：2019 Author：新加坡國立大學&加州大學伯克利分校
  18. SCRDet：檢測小型和旋轉的物體 《SCRDet: Towards More Robust Detection for Small, Cluttered and Rotated Objects》ICCV2019 註：在DOTA數據集上，性能優於RRPN和R2CNN等演算法 Date：2019 Author：中科院&國科大&上交
  19. #3D目標檢測# CBGS：類均衡的分組和取樣，用於點雲三維物體檢測的 《Class-balanced Grouping and Sampling for Point Cloud 3D Object Detection》 Date：2019 Author：曠視&中科院&清華
  20. #影片目標檢測# RDN：關係蒸餾網路，用於影片目標檢測 《Relation Distillation Networks for Video Object Detection》ICCV2019 註：RDN 在 VID數據集上，81.8% and 83.2% mAP with ResNet-101 and ResNeXt-101 Date：2019 Author：中科大&京東 AI 研究院
  21. #FisheyeMODNet#：用於自主駕駛的環視攝像機上的運動物體檢測 《FisheyeMODNet: Moving Object detection on Surround-view Cameras for Autonomous Driving》ICCV 2019 Workshop Date：2019 Author：法雷奧等
  22. #3D目標檢測# StarNet：點雲中目標檢測的目標計算 《StarNet: Targeted Computation for Object Detection in Point Clouds》 註：性能優於VoxelNet、SECOND和PointPillars等演算法 Date：2019 Author：Google Brain & Waym
  23. TTFNet：用於實時目標檢測的訓練時間友好網路 《Training-Time-Friendly Network for Real-Time Object Detection》 Date：2019 Author：浙江大學&飛步科技
  24. FreeAnchor：Anchors 匹配進行目標檢測 《FreeAnchor: Learning to Match Anchors for Visual Object Detection》NeurIPS 2019 Date：2019 Author：中國科學院大學&廈門大學&鵬城實驗室
  25. SSSDET：用於航拍影像中車輛檢測的網路 《SSSDET: Simple Short and Shallow Network for Resource Efficient Vehicle Detection in Aerial Scenes》ICIP 2019 Date：2019

語義分割

  1. 對語義分割模型的穩健性進行基準測試 Date：2019 Author：海德堡大學 —《Benchmarking the Robustness of Semantic Segmentation Models》
  2. #影片目標分割# RANet：快速影片目標分割的排序注意網路ICCV 2019 註：RANet 性能優於 FAVOS、FEELVOS等演算法，速度可達30FPS！在 DAVIS_16 數據集上表現 SOTA。Date：2019 Author：悉尼大學&IIAI&西安交大&南開— 《RANet: Ranking Attention Network for Fast Video Object Segmentation》
  3. #實例分割# InstaBoost：通過概率圖引導"複製粘貼"來提升實例分割性能 ICCV 2019 註：不做其他修改的情況下，將R101-Mask R-CNN的35.7 mAP 提升至 37.9 mAP Date：2019 Author：上海交通大學 — 《InstaBoost: Boosting Instance Segmentation via Probability Map Guided Copy-Pasting》
  4. #點雲語義分割# 綜述：點雲語義分割 《A Review of Point Cloud Semantic Segmentation》 Date：2019
  5. KSAC：Kernel共享Atrous卷積，用於語義分割 《See More Than Once — Kernel-Sharing Atrous Convolution for Semantic Segmentation》 註：KSAC相對於ASPP，提高 mIoU的性能更強！Date：2019 Author：悉尼科技大學&華東師範大學
  6. CBS：基於類的樣式，具有語義分割的實時局部風格轉換 《Class-Based Styling: Real-time Localized Style Transfer with Semantic Segmentation》 Date：2019 Author：不列顛哥倫比亞大學
  7. MTN：通過掩模遷移網路實現快速影片對象分割 《Fast Video Object Segmentation via Mask Transfer Network》 註：在DAVIS數據集上，速度高達 37 FPS！性能 SOTA！Date：2019 Author：新加坡國立大學&山東省人工智慧學會
  8. SPGNet：場景分割的語義預測指南 《SPGNet: Semantic Prediction Guidance for Scene Parsing》 Date：2019 Author：伊利諾伊大學厄巴納-香檳分校 & IBM研究院等
  9. #全景分割# 用於全景分割的模組化方法：生成器評估器 – 選擇器網路 《Generator evaluator-selector net: a modular approach for panoptic segmentation》 Date：2019 Author：多倫多大學&哈佛大學
  10. Gated-SCNN：用於語義分割的Gated形狀CNN 《Gated-SCNN: Gated Shape CNNs for Semantic Segmentation》ICCV2019 註：Amusi 認為Gated-SCNN是目前最強的語義分割演算法之一，在Cityscapes數據集上test mIoU 82.8%（not use coarse data），超越DeepLabv3+和AutoDeepLab等演算法。Date：2019
  11. #3D語義分割# LU-Net：三維LiDAR點雲語義分割的高效網路，基於端到端學習的3D特徵和U-Net 《LU-Net: An Efficient Network for 3D LiDAR Point Cloud Semantic Segmentation Based on End-to-End-Learned 3D Features and U-Net》 註：在 KITTI 表現 SOTA！速度可達 24 FPS！Date：2019
  12. #影片目標分割# COSNet：使用聯合注意孿生網路進行無監督影片對象分割 《See More, Know More: Unsupervised Video Object Segmentation with Co-Attention Siamese Networks》CVPR 2019 Author：IIAI & 上交
  13. #實例分割# SSAP：具有Affinity金字塔的Single-Shot實例分割 《SSAP: Single-Shot Instance Segmentation With Affinity Pyramid》 ICCV2019 Date：2019 Author：中科院&國科大&地平線等
  14. #3D語義分割# PASS3D：3D點雲的精確和加速語義分割 《PASS3D: Precise and Accelerated Semantic Segmentation for 3D Point Cloud》IROS-2019 Date：2019 Author：浙江大學
  15. #NAS# #語義分割# GAS：圖引導架構搜索的實時語義分割 《Graph-guided Architecture Search for Real-time Semantic Segmentation》 註：性能優於BiSeNet、ICNet等實時語義分割演算法，73.3% mIoU with speed of 102 FPS on Titan Xp Author：商湯&浙大
  16. #醫學影像分割# SegNAS3D：3D影像分割的網路架構搜索 《SegNAS3D: Network Architecture Search with Derivative-Free Global Optimization for 3D Image Segmentation》MICCAI 2019 Author：IBM Research
  17. DGCNet：用於語義分割的雙圖卷積網路 《Dual Graph Convolutional Network for Semantic Segmentation》BMVC 2019 註：在 Cityscapes和Pascal Context上，表現 SOTA！Author：牛津大學&北京大學&DeepMotion
  18. 用於實時語義分割的特徵金字塔編碼網路 《Feature Pyramid Encoding Network for Real-time Semantic Segmentation》BMVC 2019 註：68.0% mIoU，0.4M，102 FPS（TITANV） Author：曼徹斯特大學
  19. DS-PASS：通過SwaftNet進行細節敏感的全景語義分割，以用於周圍感知 《DS-PASS: Detail-Sensitive Panoramic Annular Semantic Segmentation through SwaftNet for Surrounding Sensing》 Author：浙大&卡爾斯魯厄理工學院
  20. MinneApple：用於蘋果檢測和分割的基準數據集 《MinneApple: A Benchmark Dataset for Apple Detection and Segmentation》 註：數據集和程式碼已經開源！Author：明尼蘇達大學
  21. OCR：用於語義分割的目標上下文表示 《Object-Contextual Representations for Semantic Segmentation》 註：在Cityscapes, ADE20K, PASCAL-Context上表現SOTA！其中在Cityscapes test上可達83.0，排名第二！Author：MSRA&中科院&國科大
  22. #醫學影像分割# RAUNet：用於白內障手術器械語義分割的殘差注意力U-Net 《RAUNet: Residual Attention U-Net for Semantic Segmentation of Cataract Surgical Instruments》ICONIP2019 Author：國科大&中科院等
  23. 點雲語義分割的分層點-邊交互網路 《Hierarchical Point-Edge Interaction Network for Point Cloud Semantic Segmentation》ICCV 2019 註：性能優於PointNet++和PointConv等演算法 Author：港中文&騰訊優圖
  24. #語義分割# ACFNet：用於語義分割的注意類特徵網路 《ACFNet: Attentional Class Feature Network for Semantic Segmentation》ICCV 2019 註：在Cityscapes數據集上 81.85% mIoU，優於DenseASPP、PSANet等演算法 Author：中科院&國科大&百度

VirMach 便宜 VPS

QNews

QNews