已經刷新了四大公開數據集紀錄?吃一記新ReID數據集安利!

什麼是ReID

ReID( Re-identification簡寫),是利用電腦視覺技術判斷影像或影片中是否存在特定行人的技術,它是屬於影像檢索的一個子任務。ReID的概念最早在2006年的CVPR會議上被提出,簡單來說,在監控拍不到人臉的情況下,ReID可以代替人臉識別來在影片中找到目標對象。

ReID的應用場景非常廣泛。

01

智慧安防

圖片

公共安全已成為全社會關注的一個共同話題,與之相輔相成的影片監控系統也得到了大量的普及。24小時不間斷的監控影片,成千上萬個攝影機,ReID技術可以說是公安偵破案件的強力輔助。

02

新零售

圖片

越來越多的商業綜合體接入了ReID技術,希望通過顧客的行為軌跡了解其興趣,以便優化用戶體驗。ReID 可以根據顧客外觀的照片實時動態跟蹤用戶軌跡,把軌跡轉化成管理員能夠理解的資訊,以幫助優化商業體驗。

03

智慧尋人

圖片

在公共場所小朋友不小心與父母走散了,如果小朋友年齡太小也無法聽得懂語音廣播,這時可以用到ReID技術。父母提供一張小朋友照片,可以實時在當前場景下所有監控攝影機內尋找這個小朋友的照片,相信對立馬找到這個小朋友有非常大的幫助。

四大公開數據集

ReID任務中常見的數據集有以下四個:Market-1501、DukeMTMC-reID、CUHK03、MSMT17。

圖片

01

Market-1501

Market-1501數據集在清華大學校園中採集,它包括由6個攝影機拍攝到的1501個行人、32668個檢測到的行人矩形框。每個行人至少由2個攝影機捕獲到,並且在一個攝影機中可能具有多張影像。訓練集有751人,包含12,936張影像,平均每個人有17.2張訓練數據;測試集有750人,包含19,732 張影像,平均每個人有26.3張測試數據。3368 張查詢影像的行人檢測矩形框是人工繪製的,而gallery中的行人檢測矩形框則是使用DPM檢測器檢測得到的。

02

DukeMTMC-ReID

DukeMTMC數據集是由杜克大學公開的一個大規模標記的多目標多攝像機行人跟蹤數據集。它提供了一個由8個同步攝像機記錄的新型大型高清影片數據集,具有7,000多個單攝像機軌跡和超過2,700多個獨立人物,DukeMTMC-ReID是DukeMTMC數據集的行人重識別子集,並且提供了人工標註的bounding box。

03

CUHK03

CUHK03是第一個足以進行深度學習的大規模行人重識別數據集,該數據集的影像採集於香港中文大學(CUHK)校園。數據以「cuhk-03.mat」的MAT文件格式存儲,含有1467 個不同的人物,由5對攝影機採集。

04

MSMT17

CVPR2018中提出了一個新的更接近真實場景的大型數據集MSMT17,即Multi-Scene Multi-Time,涵蓋了多場景多時段。數據集採用了安裝在校園內的15個攝影機網路,其中包含12個戶外攝影機和3個室內攝影機。為了採集原始監控影片,在一個月里選擇了具有不同天氣條件的4天。每天採集3個小時的影片,涵蓋了早上、中午、下午三個時間段。原始影片時長為180小時。

技術難點

目前對於以上特定開源數據集ReID演算法已經能實現很高的性能,尤其對多角度的人體目前識別效果較好,但仍存在較多難點:

01

場景遮擋或截斷

圖片

在商場、街道等真實場景中,通常會出現人體被場景中物體或其他人體遮擋,以及人體在畫面邊緣時被畫面邊緣截斷的情況,人體特徵不完整給演算法造成了一定識別難度。

02

同一人更換服裝

圖片

ReID在識別目標人身份時對人的服飾特徵依賴較大,目標人更換了不同顏色及款式的衣服,演算法會因為其特徵變化巨大而導致性能下降比較明顯。所以在在某些特定情況下,業內會默認如果一個人更換了衣服即可被認定為是另一個人。

03

不同人穿相同服裝

圖片

在上述問題的基礎上,已知ReID對人的服飾特徵依賴較大,因此身高體重相似的人如果穿相同的衣服,比如學校學生都穿統一樣式的校服,工人都穿特定工作服等,那麼就會造成不同人的服飾特徵非常相似,同樣會給演算法識別帶來巨大幹擾。

04

人體動作變化

圖片

除服飾以外,人體的姿態也是人體特徵的重要組成部分,人體姿態的大幅度變化(例如蹲下,蜷縮或者其他形變較大行為)同樣會對人體特徵造成影響,導致演算法性能會下降。

為了幫助ReID技術快速解決以上問題,數據堂特別推出了ReID數據集。

數據堂ReID數據集

數據堂ReID數據集包括21000名被採集者在真實場景、受控搭建場景中的採集數據。

01

10000人真實場景ReID數據

該數據包括10000個採集人在商場、超市、社區等真實場景下,每個場景平均15個攝影機左右,涵蓋多種監控高度、監控拍攝角度、監控區域(例如同一個商場有不同的監控區域)的人體資訊,並且存在真實場景會出現的遮擋截斷情況。有效解決因真實場景中人體被遮擋或截斷情況造成的演算法識別困難。

數據具體指標如下:

圖片

02

10000人受控場景ReID數據

**為解決同一人更換不同服裝和不同人穿相同服飾的識別難點,**該數據採集於受控場景,數據堂自行搭建採集場景,形成360度全形度監控,共計12個攝影機,每30度一個攝影機。監控示意圖如下圖所示:

圖片

由於對稱角度的攝影機理論上可以鏡像產生數據冗餘,為避免這種情況,針對對稱的攝影機,採用不同的架設高度,以保證監控分布的角度多樣性、高度多樣性和監控視角多樣性。

針對每位被採集者,為了強化服飾豐富性,每位被採集者均換3套不同類型衣服進行採集。同時,為考慮不同人員相同服飾難點,部分人員會穿戴相同服飾。

數據具體指標如下:

圖片

03

1033人監控場景ReID數據

**為增加人體姿態豐富性,該數據集共採集1033人,每位被採集者均採集30種不同姿態。**同時,為增加角度多樣性,每位被採集者均採集平視和俯視視角的ReID數據。

數據具體指標如下:

圖片

眾所周知,ReID的數據非常難採集。在了解上述幾個知名的ReID數據集之後,相信大家會有一個直觀的感受:針對ReID研究,現有開源數據的數量大概在幾萬張左右,而 ID 數量不足萬人,攝影機大概在10個以下,且這些照片大部分都來自於學校,被採集人身份大部分是學生。

數據堂ReID數據集無論在被採集人規模、跨攝影機數量上都遠超開源資源,同時覆蓋了多種影響因素。更重要的是,數據堂ReID數據集均獲得被採集人授權,嚴格遵從並通過ISO27701隱私管理體系、ISO27001資訊安全管理體系等認證,客戶可放心使用。