YOLOv4: 虽迟但到,大型调优现场,43mAP/83FPS | 论文速递

YOLOv4 在速度和准确率上都十分优异,作者使用了大量的 trick,论文也写得很扎实,在工程还是学术上都有十分重要的意义,既可以学习如何调参,也可以了解目标检测的 trick。

来源:晓飞的算法工程笔记 公众号

论文: YOLOv4: Optimal Speed and Accuracy of Object Detection

Introduction


  论文提出 YOLOv4,从图 1 的结果来看,相对于 YOLOv3 在准确率上提升了近 10 个点,然而速度并几乎没有下降,论文主要贡献如下:

  • 提出速度更快、精度更好的检测模型,仅需要单张 1080Ti 或 2080Ti 即可完成训练。
  • 验证了目前 SOTA 的 Bag-ofFreebies(不增加推理成本的 trick)和 Bag-of-Specials(增加推理成本的 trick)的有效性。
  • 修改了 SOTA 方法,让其更高效且更合适地在单卡进行训练,包括 CBN、PAN、SAM 等。

Methodology


Selection of architecture

  对检测模型来说,分类最优的主干网络不一定是最合适的,适用于目标检测的主干网络需满足以下要求:

  • 高输入分辨率,提高小物体的检测准确率。
  • 更多的层,提高感受域来适应输入的增加。
  • 更多的参数,提高检测单图多尺寸目标的能力。

  理论来讲,应该选择感受域更大且参数了更大的模型作为主干网络,表 1 对比了三种 SOTA 主干网络的,可以看到 CSPDarknet53 的感受域、参数量以及速度都是最好的,故选其为主干网络。

  另外,使用不同大小的感受域有以下好处:

  • 匹配物体大小,可以观察完整的物体。
  • 匹配网络大小,可以观察物体的上下文信息。
  • 超过网络的大小,增加点与最终激活之间的连接数。

  为此,YOLOv4 加入了 SPP block,能够显著地改善感受域大小,而且速度几乎没有什么下降。

  另外,使用 PANet 替换 FPN 来进行多通道特征的融合。
  最终,YOLOv4 选择 CSPDarknet53 作为主干网络,配合 SPP 模块,PANet 通道融合以及 YOLOv3 的 anchor based head。

Selection of BoF and BoS

  目前比较有效的目标检测提升的 trick:

  • 激活函数: ReLU, leaky-ReLU, parametric-ReLU, ReLU6, SELU, Swish, or Mish。
  • bbox 回归损失: MSE, IoU, GIoU, CIoU, DIoU
  • 数据增强: CutOut, MixUp, CutMix
  • 正则化方法: DropOut, DropPath, Spatial DropOut, or DropBlock
  • 归一化方法: Batch Normalization(BN), Cross-GPU Batch Normalization(CGBN or SyncBN), Filter Response Normalization (FRN), or Cross-Iteration Batch Normalization(CBN)

  由于 PReLU 和 SELU 难以训练,并且 ReLU6 是专门为量化网络设计的,从激活函数中去除这几种。而在正则化方法中,DropBlock 的效果是最优的。对于归一化方法的选择,由于需要单卡训练,因此不考虑 SyncBN。

Additional improvements

  为了让模型能更好地在单卡进行训练,做了以下的改进:

  • 提出新的数据增强方法 Mosaic 和 Self-Adversarial Training (SAT)。
  • 使用遗传算法选择最优的超参数。
  • 修改目前的方法来让训练和检测更有效,包括改进的 SAM,改进的 PAN 以及 Cross mini-Batch Normalization (CmBN)

  Mosaic 是新的数据增强方法,同时融合 4 张训练图片,CutMix 仅融合 2 张图片,使得目标的检测范围超出其正常的上下文,另外 BN 每次统计 4 张图片,这能显著地减少对大 mini-batch 的需要。
  Self-Adversarial Training(SAT)也提供新的数据增强手段,分为两个前向反向阶段。在第一阶段,先对图片进行前向计算,然后通过反向传播修改图片的像素,注意这里不修改网络的权重,通过这种方式,网络进行了一次对抗式训练,制造出没有目标的假象。在第二阶段,对修改后的图片进行正常的训练。

  CmBN 是改进版的 CBN,仅统计 single-batch 中的 mini-batch,如图 4 所示,假设 t-3~t 为 single-batch 中的 mini-batch,若干 single-batch 中包含单个 mini-batch,则 CmBN 与 BN 一样。

  将 SAM 从 spitial-wise attention 修改为 point-wise attention,即输入和输出的大小一致。

  将 PAN 的 shortcut 连接方法,从相加改为 concate。

YOLOv4

  YOLOv4 包含:

  • Backbone:CSPDarknet53
  • Neck:SPP,PAN
  • Head:YOLOv3

  YOLO v4 使用:

  • 主干网络的 BoF(Bag of Freebies):CutMix 和 Mosaic 数据增强, DropBlock 正则化, 标签平滑(Class label smoothing)
  • 主干网络的 BoS(Bag of Specials):Mish 激活, Cross-stage partial connections (CSPNet), Multiinput weighted residual connections(MiWRC)
  • 检测端的 BoF(Bag of Freebies):CIoU-loss, CmBN, DropBlock 正则化, Mosaic 数据增强, Self-Adversarial Training, 去除边框敏感性(Eliminate grid sensitivity,见实验部分的解释), 多 anchor 回归(之前只选最大的), 余弦退火学习率调整(Cosine annealing scheduler), 使用遗传算法最优化超参数, 随机输入大小
  • 检测端的 BoS(Bag of Specials):Mish 激活, SPP-block, SAM-block, PAN 通道融合, DIoU-NMS

Experiments


Influence of different features on Classifier training

  CutMix、Mosaic 数据增强和标签平衡(Class label smoothing)比较有效。

Influence of different features on Detector training

  表 4 对比的 BoF 如下:

  • S:去除边框敏感性,b_x=\sigma(t_x) +c_x,之前的中心点回归与 anchor 的边相关,当需要趋近c_xc_x+1时,需要很大的|t_x|,为此对 sigmoid 添加一个大于 1 的因子来减少这个影响
  • M:Mosaic 数据增强
  • IT:IoU 阈值,使用大于 IoU 阈值的 anchor 进行训练,之前好像只选最大的
  • GA:使用遗传算法进行最优超参选择
  • LS:标签平滑
  • CNB:论文提出的 CmBN
  • CA:使用余弦退火(Cosine annealing scheduler)进行学习率下降
  • DM:动态 mini-batch 大小,小分辨率时增加 mini-batch
  • OA:使用最优的 anchors
  • GIoU, CIoU, DIoU, MSE:bbox 损失函数

  论文也对比了检测端的 BoS,从结果来看,SPP、PAN 和 SAM 同时使用时效果最好。

Influence of different backbones and pretrained weightings on Detector training

  论文研究了不同主干网络对检测准确率的影响,可以看到 CSPDarknet53 能更好地适应各种改进。

Influence of different mini-batch size on Detector training

  论文对比了不同的 mini-batch 大小下的检测准确率,在加入 BoF 和 BoS 训练策略后,mini-batch 的改变几乎对准确率没有影响。

Results

  表 8、9 和 10 分别为 Maxwell GPU、Pascal GPU 和 Volta GPU 上的实验结果,从大量的实验对比来看,YOLOv4 在速度和准确率上都十分耐看。

CONCLUSION


  YOLOv4 在速度和准确率上都十分优异,作者使用了大量的 trick,论文也写得很扎实,在工程还是学术上都有十分重要的意义,既可以学习如何调参,也可以了解目标检测的 trick。



如果本文对你有帮助,麻烦点个赞或在看呗 ~
更多内容请关注 微信公众号【晓飞的算法工程笔记】

work-life balance.