业界首个实时多目标跟踪系统开源

  • 2019 年 12 月 27 日
  • 笔记

相对业界研究比较多的单目标跟踪,多目标跟踪(Multi-Object Tracking,MOT)系统在实际项目中应用场景更多。

长期以来谈到此领域,大家都会推荐DeepSort算法(Simple Online and Realtime Tracking with a Deep Association Metric,2017),不过今天要刷新一下知识库了。

今天一篇多目标跟踪的论文Towards Real-Time Multi-Object Tracking,引起了不少人的关注,速度更快、精度更高、代码也已经开源了,非常值得参考。作者称,该算法是第一个实时的多目标跟踪算法。

该文作者信息:

来自清华大学和澳大利亚国立大学。

多目标跟踪往往采用tracking-by-detection 流程,分为用于目标定位的检测模型和目标关联的表观嵌入模型,长久以来,这两大模块是分开的。

作者的想法就是在这两大模块共享特征。

请看下图:

(a)为经典的检测与嵌入模块分离的模型;

(b)为两阶段模型,嵌入部分复用检测的特征;

(c)为本文提出的检测和嵌入联合的模型。

该文使用的主要方法是,将表观嵌入模型集成到一个单阶段目标检测模型中,如下图:

使其在进行目标检测预测的时候,预测head同时进行表观嵌入,另外,因为预测head是一个多任务的模型,对各个任务Loss函数进行自适应加权。

上图中(a)为网络架构,(b)为预测head的详细展示,包含分类、回归、嵌入的三个任务,和各Loss加权示意图。

作者在MOT-16多目标跟踪数据集上评估了算法精度和速度,结果如下:

该文提出的算法,MOTA接近state-of-the-art,比DeepSort精度高,速度快3-4倍。

以上算法评估作者是在Nvidia Titan xp GPU上运行的。

论文地址:

https://arxiv.org/pdf/1909.12605v1.pdf

开源代码:

https://github.com/Zhongdao/Towards-Realtime-MOT