影子追蹤！MIT讓自動駕駛練出「透視眼」，看影子就知道有無物體靠近

• 2019 年 11 月 8 日
• 筆記

大數據文摘出品

來源：MIT News

編譯：啤酒泡泡、錢天培

觀察光影變換，就能知曉有「敵人」在逼近——這聽起來是不是很像武俠小說呢？

可沒有那麼玄乎。MIT的工程師告訴你，他的AI系統就能做到！

為了改善自動駕駛系統的安全性，MIT的幾位工程師近日開發了一個新的系統。它可以識別地面上的影子，進而判斷拐角處是否有物體正在靠近車輛。

未來，自動駕駛車輛可以使用這個系統及時避免可能發生的車禍，比如從建築物拐角出現的車輛和行人。不久的將來，醫院大廳里用來傳遞藥品或是提供補給的機器人也可以使用這個系統來避免撞到人。

比傳統的LiDAR系統快了0.5~1秒

在一篇即將在下周IROS的國際會議所展示的論文里，研究人員為我們展示了這項成果。研究人員設計了兩個場景，在停車場的拐角處的自動駕駛車輛和大廳里導航的自動輪椅。當感應到有車輛靠近時，這款基於車輛的系統的制動時間比傳統的LiDAR系統（只能探測到可見物體的光學雷達）快了0.5~1秒。

研究人員表示，0.5-1秒看上去很短，但是對於一個快速移動的自動駕駛車輛而言，這不到一秒的提升卻很重要。

「在某些場景下，比如機器人在有移動物體和人群的環境中移動，我們的方法可以預先警告機器人，提示有物體正在向角落移動，車輛會根據提示降低速度、調整路線、提前做好準備以避免碰撞。」論文作者、電腦科學和人工智慧實驗室（CSAIL）負責人補充道。

「我們的理想是為街上正在快速移動的車輛提供類似『X光』的視角輔助。」

但是，目前這個系統只接受了室內環境的檢驗。室內的機器移動速度很慢而且光照條件波動很小，這使得該系統很容易探測並分析影子。

ShadowCam的擴展

研究人員基於「ShadowCam」系統開發了利用電腦視覺技術檢測並分類地面影子影像的系統。MIT的William Freeman 教授和Antonio Torralba教授參與了該系統的前期工作（並未在IROS論文署名），並在2017年和2018年的會議上展示了研究結果。

ShadowCam使用了一連串攝影機對準固定區域（比如拐角前的地面區域）進行拍攝，作為系統的輸入數據。系統通過分析一張張圖片來記錄光照強度隨時間的變化，以此推斷是否有物體正在遠離或靠近。

有些變化時肉眼看不見或者很難分辨，因而需要通過物體和環境的多種性質才能做判斷。而ShadowCam通過分析收集到資訊，將每張圖片分類為靜止物體或是移動物體。如果系統檢測到移動物體，那麼系統會自動做出調整。

將ShadowCam應用於自動駕駛車輛還需要一些改進。例如，早期版本需要對場地添加增強的標籤（AprilTags，類似簡化的二維碼）。機器人通過掃描AprilTags來確定自己的空間位置以及行進方向。ShadowCam利用這些標記代表環境的特點，並重點關注那些可能有影子的像素區域上。但是在實際環境中，使用AprilTags是不現實的。

於是，研究人員發明了一個新的處理方法，它結合了影像配准和一種新的視覺里程計算技術。在電腦視覺里，影像配准將多個圖片重疊起來以發現圖片間的變化。例如，醫學影像配准將多個醫學掃描影像重疊進行比較，用於分析病體在解剖學上的差異。

視覺里程計（已用於火星探測器）可以通過分析一系列圖片中的位置和幾何空間特徵來實時地估計攝影機的運動。研究人員使用了「Direct Sparse Odometry」(DSO)技術，它可以計算環境中的特徵位點，達到與AprilTags標記法類似的效果。

NASA用ShadowCam執行月球任務

重要的是，DSO技術可以繪製環境特徵位點的3D雲圖，並利用電腦視覺工程挑選出你關注的某個區域內的環境特徵位點，比如靠近拐角的地面（此前，關注的區域需要事先手動標記）。

ShadowCam收集了一系列關注區域的圖片，因此它需要使用DSO影像配准方法將來自同一機器視角的圖片疊加分析。儘管機器人在移動，它仍舊可以關注到影子所在的某一小塊像素區域，以發現圖片間存在的微小差異。

另一個技術是訊號放大，該技術在第一篇論文中介紹過。包含影子的像素點會提高顏色的亮度以此降低信噪比。這項技術可以放大影子變化產生的微弱訊號，使其能被檢測到。如果被增強的訊號達到一定的閾值（這部分取決於該像素區域與相鄰區域的差異有多大），那麼ShadowCam會把圖片分類為「運動」。根據訊號的強弱，系統會告知汽車或者機器人是減速或是停止。

「檢測到這個訊號後，你就得小心了，這意味著可能有人正從拐角或是停止的車輛間跑出來，從而讓自動駕駛車輛減速或是完全停止。」Naser說。

無標記測試

在一項測試中，研究人員分別使用AprilTags標記法和基於DSO的方法評估了系統在分類移動物體和靜止物體的表現。當人們經過拐角進入輪椅的既定路線時，自動駕駛的輪椅會朝著大廳拐角的方向走去。兩種方法都取得了70%的準確率，這表明以後可以不再需要AprilTags標記法。

在另一項測試中，研究人員將ShadowCam安裝到一輛停在地下車庫的自動駕駛汽車中，並且關掉了車燈，用來模擬夜間的車輛行駛環境。他們對比了該系統和LiDAR在檢測車輛上的表現。實驗顯示，ShadowCam檢測柱後車輛所用的時間比LiDAR快了0.72秒。更重要的是，研究人員將ShadowCam調試到適用於車庫光線狀態的模式，系統的分類準確率達到了約86%。

接下來，研究人員將繼續完善該系統，使其能在不同的室內室外光照條件下工作。未來也會出現各種通過影子檢測速度的辦法，實現目標區域內的檢測影子的自動化。

相關報道：

http://news.mit.edu/2019/helping-autonomous-vehicles-see-around-corners-1028