已经刷新了四大公开数据集纪录?吃一记新ReID数据集安利!
什么是ReID
ReID( Re-identification简写),是利用计算机视觉技术判断图像或视频中是否存在特定行人的技术,它是属于图像检索的一个子任务。ReID的概念最早在2006年的CVPR会议上被提出,简单来说,在监控拍不到人脸的情况下,ReID可以代替人脸识别来在视频中找到目标对象。
ReID的应用场景非常广泛。
01
智能安防
公共安全已成为全社会关注的一个共同话题,与之相辅相成的视频监控系统也得到了大量的普及。24小时不间断的监控视频,成千上万个摄像头,ReID技术可以说是公安侦破案件的强力辅助。
02
新零售
越来越多的商业综合体接入了ReID技术,希望通过顾客的行为轨迹了解其兴趣,以便优化用户体验。ReID 可以根据顾客外观的照片实时动态跟踪用户轨迹,把轨迹转化成管理员能够理解的信息,以帮助优化商业体验。
03
智能寻人
在公共场所小朋友不小心与父母走散了,如果小朋友年龄太小也无法听得懂语音广播,这时可以用到ReID技术。父母提供一张小朋友照片,可以实时在当前场景下所有监控摄像头内寻找这个小朋友的照片,相信对立马找到这个小朋友有非常大的帮助。
四大公开数据集
ReID任务中常见的数据集有以下四个:Market-1501、DukeMTMC-reID、CUHK03、MSMT17。
01
Market-1501
Market-1501数据集在清华大学校园中采集,它包括由6个摄像头拍摄到的1501个行人、32668个检测到的行人矩形框。每个行人至少由2个摄像头捕获到,并且在一个摄像头中可能具有多张图像。训练集有751人,包含12,936张图像,平均每个人有17.2张训练数据;测试集有750人,包含19,732 张图像,平均每个人有26.3张测试数据。3368 张查询图像的行人检测矩形框是人工绘制的,而gallery中的行人检测矩形框则是使用DPM检测器检测得到的。
02
DukeMTMC-ReID
DukeMTMC数据集是由杜克大学公开的一个大规模标记的多目标多摄像机行人跟踪数据集。它提供了一个由8个同步摄像机记录的新型大型高清视频数据集,具有7,000多个单摄像机轨迹和超过2,700多个独立人物,DukeMTMC-ReID是DukeMTMC数据集的行人重识别子集,并且提供了人工标注的bounding box。
03
CUHK03
CUHK03是第一个足以进行深度学习的大规模行人重识别数据集,该数据集的图像采集于香港中文大学(CUHK)校园。数据以“cuhk-03.mat”的MAT文件格式存储,含有1467 个不同的人物,由5对摄像头采集。
04
MSMT17
CVPR2018中提出了一个新的更接近真实场景的大型数据集MSMT17,即Multi-Scene Multi-Time,涵盖了多场景多时段。数据集采用了安装在校园内的15个摄像头网络,其中包含12个户外摄像头和3个室内摄像头。为了采集原始监控视频,在一个月里选择了具有不同天气条件的4天。每天采集3个小时的视频,涵盖了早上、中午、下午三个时间段。原始视频时长为180小时。
技术难点
目前对于以上特定开源数据集ReID算法已经能实现很高的性能,尤其对多角度的人体目前识别效果较好,但仍存在较多难点:
01
场景遮挡或截断
在商场、街道等真实场景中,通常会出现人体被场景中物体或其他人体遮挡,以及人体在画面边缘时被画面边缘截断的情况,人体特征不完整给算法造成了一定识别难度。
02
同一人更换服装
ReID在识别目标人身份时对人的服饰特征依赖较大,目标人更换了不同颜色及款式的衣服,算法会因为其特征变化巨大而导致性能下降比较明显。所以在在某些特定情况下,业内会默认如果一个人更换了衣服即可被认定为是另一个人。
03
不同人穿相同服装
在上述问题的基础上,已知ReID对人的服饰特征依赖较大,因此身高体重相似的人如果穿相同的衣服,比如学校学生都穿统一样式的校服,工人都穿特定工作服等,那么就会造成不同人的服饰特征非常相似,同样会给算法识别带来巨大干扰。
04
人体动作变化
除服饰以外,人体的姿态也是人体特征的重要组成部分,人体姿态的大幅度变化(例如蹲下,蜷缩或者其他形变较大行为)同样会对人体特征造成影响,导致算法性能会下降。
为了帮助ReID技术快速解决以上问题,数据堂特别推出了ReID数据集。
数据堂ReID数据集
数据堂ReID数据集包括21000名被采集者在真实场景、受控搭建场景中的采集数据。
01
10000人真实场景ReID数据
该数据包括10000个采集人在商场、超市、社区等真实场景下,每个场景平均15个摄像头左右,涵盖多种监控高度、监控拍摄角度、监控区域(例如同一个商场有不同的监控区域)的人体信息,并且存在真实场景会出现的遮挡截断情况。有效解决因真实场景中人体被遮挡或截断情况造成的算法识别困难。
数据具体指标如下:
02
10000人受控场景ReID数据
**为解决同一人更换不同服装和不同人穿相同服饰的识别难点,**该数据采集于受控场景,数据堂自行搭建采集场景,形成360度全角度监控,共计12个摄像头,每30度一个摄像头。监控示意图如下图所示:
由于对称角度的摄像头理论上可以镜像产生数据冗余,为避免这种情况,针对对称的摄像头,采用不同的架设高度,以保证监控分布的角度多样性、高度多样性和监控视角多样性。
针对每位被采集者,为了强化服饰丰富性,每位被采集者均换3套不同类型衣服进行采集。同时,为考虑不同人员相同服饰难点,部分人员会穿戴相同服饰。
数据具体指标如下:
03
1033人监控场景ReID数据
**为增加人体姿态丰富性,该数据集共采集1033人,每位被采集者均采集30种不同姿态。**同时,为增加角度多样性,每位被采集者均采集平视和俯视视角的ReID数据。
数据具体指标如下:
众所周知,ReID的数据非常难采集。在了解上述几个知名的ReID数据集之后,相信大家会有一个直观的感受:针对ReID研究,现有开源数据的数量大概在几万张左右,而 ID 数量不足万人,摄像头大概在10个以下,且这些照片大部分都来自于学校,被采集人身份大部分是学生。
数据堂ReID数据集无论在被采集人规模、跨摄像头数量上都远超开源资源,同时覆盖了多种影响因素。更重要的是,数据堂ReID数据集均获得被采集人授权,严格遵从并通过ISO27701隐私管理体系、ISO27001信息安全管理体系等认证,客户可放心使用。