ROAD數據集 | 基於道路事件，會讓自動駕駛像人那樣感知環境嗎？

• 2021 年 11 月 16 日
• AI

編輯 | 青暮

自動駕駛汽車如何像人那樣感知環境並做出決策？

像人一樣感知環境並做出決策，這是人們對自動駕駛汽車的最終想像。經過多年的研究，當前自動駕駛汽車主要存在三大類感知決策控制方法，分別為sequential planning、behavior-aware planning以及end-to-end planning。

sequential planning屬於最傳統的方法，感知、決策與控制三個部分層次較為清晰；behavior-aware planning的亮點在於引入了人機共駕、車路協同以及車輛對外部動態環境的風險預估；而時下最熱門的方法之一，則是end-to-end planning，這種方法基於DL、DRL技術，可以藉助大量的數據做訓練，獲得從圖像等感知信息到方向盤轉角等車輛控制輸入的關係。

牛津布魯斯大學計算機視覺實驗室的研究團隊，就基於端到端的方法，發表了第一類面向自動駕駛車輛的道路事件感知數據集（ROAD）。

論文鏈接：//arxiv.org/pdf/2102.11585.pdf

ROAD由一個移動智能體（即自動駕駛車輛）、它所執行的動作和相應的場景位置三者組成，可以測試自動駕駛車輛感知並預測道路事件的能力。

作者表示，利用ROAD，通過一種模仿學習設置，人類駕駛者應對道路情況的駕駛行為，可以被用來訓練自動駕駛汽車以更深入、更人性化的方式，理解道路環境以及道路其他使用者隨時間而變化的行為。

不用關注駕駛員的身體動作了？

為了了解道路上發生的情況，如今的自動駕駛車輛通常配備了一系列不同的傳感器（如激光測距儀、雷達、攝像頭、GPS ）來收集數據，不過ROAD主要考慮的是基於視覺的自動駕駛車輛的行駛環境。

安裝在牛津機械人小車上的攝像機，以一種流式、在線的方式拍下了大量視頻，研究團隊從中精心挑選了22段持續時間相對較長（每段約8分鐘）的視頻，這些視頻由多個道路事件（REs）組成。

根據定義，REs由移動智能體Ag、它執行的動作Ac和發生該動作的位置Loc所組成，即E=（Ag、Ac、Loc）。

經過對這22個視頻的內容進行編譯，Ag、Ac、Loc構成了編譯後有限列表裡的所有分類，道路事件則可喻為「管道」，即逐幀邊界框檢測（frame-wise bounding box detections）的時間序列。

ROAD是一個具有相當規模的數據集，因為122K的視頻鏡頭被標記成了總共560K的檢測邊界框，依次與1.7M的唯一單獨標籤相關聯，這些標籤分別有560K智能體標籤、640K動作標籤和499K位置標籤。

此數據集按照以下原則設計：

• 多標籤基準：每個道路事件由負責的（移動）智能體標籤、執行的動作類型標籤和描述了動作所在位置的標籤組成。

• 每一個事件都可以在相關時間下被分配到同種標籤類型的多個實例（例如，一個RE可以是既移動又左轉的實例）。

• 標註都是從自動駕駛車輛的角度完成的，最終目標是為了讓自動駕駛車輛利用此信息做出適當的決策。

• 元數據旨在包含所有需要全面描述了道路場景的信息，下圖給出了該概念的說明。這意味着，即使不看視頻，我們也可以根據與這些視頻關聯的一組標籤，還原當時的道路情況（或者可以讓自動駕駛汽車根據這些標籤，做出一樣的決定）

（a）如箭頭所示，在換道時，一輛綠色汽車在自動駕駛車輛前面。然後，關聯事件將攜帶以下標籤：在車輛車道（位置）、向左移動（動作）。一旦事件完成，位置標籤將改為：位於駛出車道。

（b）從6號車道向左轉進入4號車道的自動駕駛車輛：因為車流與自動駕駛車輛方向相同，4號車道將成為駛出車道。但是，如果自動駕駛車輛從6號車道右轉到4號車道（一個錯誤的轉彎），那麼4號車道將隨着車輛的進入而成為駛入車道。

簡而言之，ROAD的總體思想，是希望通過使用多種標籤類型的適當組合，來充分描述道路狀況，並允許機器學習算法從這些信息中學習。

局限：沒有關注到行人的動作

而為了讓科學家能夠評估他們在道路事件檢測方面所選擇的方法的性能，該研究團隊還提出了一種強大的基線，該基線將先進的單級目標檢測技術與在線管道構建方法相結合，目的是隨着時間推移持續探測道路環境，以創建事件管道（event tubes）。

「這種方法的一個優點在於，當自動駕駛車輛學習如何做出決策時，它允許車輛關注更少的相關信息，做到更接近人類的決策方式。」研究團隊在論文中表示。

除此之外，該團隊還提供了一種新的基於沿時間膨脹RetinaNet的在線道路事件感知增量算法，在50%重疊度下，幀級和視頻級事件檢測的平均準確率分別為16.8 %和6.1 %。

但一個問題在於，ROAD關注到了各類車輛中駕駛員所執行的行動，卻沒有考慮到行人、單車等道路上的其他參與者動作，而對於業界的企業玩家來說，對道路上各種Corner Case的攻克才是更急迫和突顯競爭力的。

另外，ROAD數據集僅基於22個視頻標註而成，對於自動駕駛的感知算法來說，ROAD的數據量遠遠不夠，且還需要覆蓋更多更複雜場景。

雷鋒網