光學雷達、攝影機加持也沒轍，3D列印就能惡意攻擊L4自動駕駛汽車！

2021 年 8 月 16 日
AI

AI科技評論報道

編輯 | 陳大鑫

這年頭自動駕駛還安全嗎？

想必大家懂得都懂

……

那難道目前業界就沒有一個很好的安全防範措施嗎？

或許是有的，比如目前 L4 自動駕駛里用的最廣泛的用來提高系統魯棒性的多感測器融合感知（Multi-Sensor Fusion based Perception）技術，即融合不同的感知源，比如光學雷達（LiDAR）和攝影機（camera），從而實現準確並且魯棒的感知。

然而最近來自加州大學爾灣分校（UC Irvine）的一個專攻自動駕駛和智慧交通的安全研究團隊，在實驗研究了「工業級L4自動駕駛系統里的感知模組的安全」之後，發現，多感測器融合感知技術存在一個安全漏洞，使得攻擊者可以3D列印出一個惡意的3D障礙物。

圖注: 3D列印出來的惡意障礙物

只需把 3D 障礙物放在道路中間，就能讓自動駕駛車輛的 Camera 和LiDAR機器學習檢測模型都識別不到，從而從根本上繞過多感測器融合感知模組讓其識別不到這個障礙物並且撞上去，造成嚴重交通危害。

OMG！這實在是太危險⚠️了！

這項研究工作在今年已經正式發表在 IEEE S&P 2021（電腦安全四大高峰會之一）。

論文鏈接：//arxiv.org/abs/2106.09249

研究工作概覽和亮點

現如今 L4 自動駕駛系統正在被逐漸商業化。百度已經在北京、長沙和滄州開始大規模測試無人駕駛計程車，百度獲得加州全無人駕駛測試許可，Waymo 甚至已經開始在美國鳳凰城測試不需要安全駕駛員的完全自動駕駛計程車。

在自動駕駛系統里，「感知」實時周圍物體，是所有重要駕駛決策的最基本前提。感知模組負責實時檢測路上的障礙物，比如：周圍車輛，行人，交通錐（雪糕筒）等等，從而避免發生一些交通事故。

因為感知模組對無人車安全的重要性，商業高級別（L4）無人車系統普遍採用多感測器融合的設計，即融合不同的感知源，比如 光學雷達（LiDAR）和攝影機（camera），從而實現準確並且魯棒的感知。

在這樣的設計中，根據「並非所有感知源都同時被攻擊（或可以被攻擊）」這一假設，總是存在一種可能的多感測器融合演算法，可以依靠未被攻擊的源來檢測或防止單感知源攻擊。這個基本的安全設計假設在一般情況下是成立的，因此多感測器融合通常被認為是針對現有無人車感知攻擊（單感知源攻擊）的有效防禦策略。

然而研究者發現，在識別現實世界中，這種多感測器融合的障礙物感知存在漏洞。通過這個漏洞，研究者可以同時攻擊不同的感知源，或者攻擊單個感知源（只有LiDAR或者camera的檢測），使得無人車無法成功檢測前面的障礙物並直接撞上去。

在這項工作中，研究者首次對當今無人車系統中基於多感測器融合的感知進行了安全分析。研究者直接挑戰了上述基本的安全設計假設，證明了「同時攻擊自動駕駛多感測器融合感知中所有感知源」的可能性。

這使研究者第一次具體了解到使用多感測器融合作為無人車感知的一般防禦策略能提供多少安全保障！

具體來說，研究者發現惡意3D障礙物可以被用作針對基於多感測器融合的無人車感知的攻擊載體，同時具有隱蔽和物理上可實現的特點。研究者的關鍵發現是，3D障礙物的不同形狀可以同時導致 LiDAR 點雲中的點位置變化和camera影像中的像素值變化。

因此，攻擊者可以利用形狀操作，同時向 camera 和 LiDAR 引入輸入擾動。

這樣的攻擊載體還有另外兩個優點：

(1) 它很容易在物理世界中實現和部署。例如，攻擊者可以利用3D建模構建這類障礙物，並進行3D列印。目前市面上有很多在線3D列印服務，攻擊者甚至不需要擁有3D列印設備。

(2) 它可以通過模仿能合法出現在道路上的正常交通障礙物，如交通錐或障礙物（如石頭），並偽裝為比較常見的磨損或破損的外觀，實現高度隱蔽性（如圖1）。

圖1：生活中比較常見的磨損或形狀破損的交通物體和看起來比較奇怪的石頭

為了使其既容易部署又能造成嚴重的碰撞，攻擊者可以選擇較小的障礙物，如岩石或交通錐，但用花崗岩甚至金屬填充，使其更硬更重。例如，一塊0.5立方米的石頭或一個1米高的交通錐，裡面填充一些鋁，很容易超過100公斤，如果汽車在高速行駛時撞到，有底盤損壞、撞碎擋風玻璃甚至失去控制的風險。

另外，攻擊者還可以利用某些道路障礙物的功能（如交通錐作為標識的功能）。例如，攻擊者可以設計一種僅針對無人車的攻擊，將釘子或玻璃碎片放在生成的惡意交通錐障礙物後面，這樣，人類駕駛員能夠正常識別交通錐並繞行，而無人車則會忽視交通錐然後爆胎。在這裡，安全損害並不是需要由碰撞交通錐體本身造成的，因此在這種情況下，惡意的交通錐體可以像普通交通錐體一樣小而輕，以使其更容易3D列印、攜帶和部署。

2

MSF-ADV 攻擊

為了評估這一漏洞的嚴重性，研究者設計了 MSF-ADV 攻擊，它可以在給定的基於多感測器融合的無人車感知演算法中自動生成上述的惡意的3D障礙，研究者提出創新性的設計提升攻擊的有效性、魯棒性、隱蔽性和現實生活中的可實現性（如圖2）。

研究者選擇了3種障礙物類型（交通錐、玩具車和長椅）進行測試，並在真實世界的駕駛數據上進行評估。研究者的結果顯示，在不同的障礙物類型和多感測器融合演算法中，研究者的攻擊實現了 >=91%的成功率。

研究者還發現，研究者的攻擊是：

（1）基於用戶研究，從駕駛者的角度看是隱蔽的；

（2）對不同的被攻擊車的位置和角度具有魯棒性，平均成功率>95%；

（3）製作出來的惡意的3D障礙物可以有效轉移並用於攻擊其他MSF演算法，平均轉移攻擊成功率約75%。

基於優化的惡意的3D物體生成概述

如下圖所示，給到一個初始化的良性的3D障礙物（如交通錐），首先要對其做一些魯棒的變換，然後和目標道路的照片和點雲一起輸入到渲染模組。在這個模組里，可以利用可導的渲染技術，將3D障礙物渲染到照片和點雲里。

該模組的目的是為了實現模擬現實環境中擺放3D障礙物，並獲取感測器數據。然後這些數據會輸入到特徵提取模組來提取相應的特徵，再把這些特徵輸入到相對應的神經網路。

根據神經網路的輸出設計目標函數，即降低3D障礙物在網路中的置信度，從而達到讓物體消失的目的。同時本文還有一些隱蔽性和物理可實現性的設計，最終我們可以根據梯度來更新這個3D障礙物從而生成惡意的3D障礙物。

圖2：基於優化的惡意的3D物體生成概述

實驗評估與攻擊演示

為了了解攻擊在物理世界中的可實現性和嚴重性，研究者3D列印了生成的惡意障礙物（下圖3所示），並在使用了多感測器融合感知得真車上進行評估。

圖3: 3D列印出來的惡意障礙物

下圖4 是研究者使用的裝配了LiDAR和 camera 的測試車輛。研究者發現惡意的障礙物可以在總共108個感測器幀中的107幀中（99.1%）成功躲過多感測器融合的檢測。

圖4: 安裝LiDAR和camera的真車設置和檢測結果

攻擊演示影片：

在一個微縮模型的實驗環境中（下圖5所示），研究者發現研究者的惡意的障礙物在不同的隨機抽樣位置有85-90%的成功率逃避多感測器融合感知的檢測，而且這種有效性可以轉移。

圖5: 微縮模型的實驗環境和檢測結果

攻擊演示影片：

為了了解端到端的安全影響，研究者使用產品級的無人車模擬器LGSVL進一步評估MSF-ADV（圖6）。

在100次運行中，研究者的惡意的交通錐對Apollo的無人車造成100%的車輛碰撞率，相比之下，正常交通錐體的碰撞率為0%。

圖6: Apollo 和 LGSVL 在端到端攻擊評估的截圖

攻擊演示影片：

3

多感測器融合不是自動駕駛安全的萬全之策

本文研究的一個比較大的貢獻是讓大家意識到多感測器融合感知同樣存在安全問題。很多前人工作事實上把多感測器融合當做對於單個感測器攻擊的有效防禦手段，但是之前卻並沒有文章去系統性的探究這一點。

研究者的工作填補了這一個關鍵的知識空白，證明其實並不完全是這麼一回事。研究者生成的3D惡意的障礙物可以讓多感測器融合感知系統失效，從而導致無人車撞到這種物體上並造成交通事故。

研究者認為比較切實可行的防禦手段是去融合更多的感知源，比如說更多的不同位置的camera和LiDAR，或者考慮加入RADAR。但是這不能從根本上防禦MSF-ADV，只能是說讓MSF-ADV生成過程更加困難。

研究者已經就這個漏洞聯繫了31家自動駕駛公司，同時建議它們應用這些緩解手段。研究者覺得不論是研究者還是自動駕駛公司都需要投多更多精力去系統性地探究自動駕駛里的的安全問題。

4

常見問題與解答

AI科技評論：為了實現同樣的攻擊目標，為什麼攻擊者不能直接向無人車扔石頭或者直接在無人車前面放釘子或玻璃碎片？

研究者是電腦安全研究人員，所以研究者的目標是研究特定於電腦技術（在研究者的例子中指的是自動駕駛）的安全漏洞。研究者的最終目標是在電腦技術層面修復它們。

扔石頭、放釘子或玻璃碎片並不是針對於無人駕駛這種特定技術的攻擊，非無人駕駛車輛也會受到損害，同時這樣的研究也無助於暴露出無人駕駛技術中的安全隱患相比之下，研究者的惡意的障礙物可以被人眼正確識別出來，但無人車系統卻無法正確識別，這個才是研究者需要研究的技術問題。

通過發現和解決此類問題，無人車技術可以更好地接近人類駕駛的水平和性能，從而實現無人車技術的最終目標：代替人類駕駛。

AI科技評論：一般車上都有的緊急剎車系統可以防禦這種攻擊嗎？

緊急剎車系統可以減輕它的的風險，但既不能完全防止此類攻擊，也不能消除防禦攻擊的需要。首先，無人車系統必須設計為能夠自行處理儘可能多的安全隱患，而不是完全依賴緊急剎車系統。緊急剎車系統僅設計為緊急情況或者備用安全保護措施；它永遠也不應該用來代替無人車警覺性。就像司機駕駛一樣，沒有人完全依賴緊急剎車系統來確保安全；

研究者必須始終保持謹慎並儘可能的主動做出安全決策，然後僅依靠緊急剎車系統作為在極端情況下儘力而為的後備保護。因此，研究者必須要想辦法在無人車系統級別上解決這種漏洞。

其次，現如今的無人剎車系統本身際上遠非完美，並且可能具有很高的漏報率。例如，AAA 報告稱，很多車（例如雪佛蘭邁銳寶、本田雅閣、特斯拉 Model 3 和豐田凱美瑞）的緊急剎車系統故障率為 60%。此外，即使無人車的緊急剎車系統能夠成功緊急停車，但是也無法避免無人車被後面的車追尾。

AI科技評論：研究者有對無人車公司進行漏洞報告嗎？他們是怎麼答覆的？

截至 2021 年 5 月 18 日，研究者對 31 家開發或者測試無人車的公司進行了漏洞報告，其中 19 家（約 61%）已經回復了研究者。

根據答覆，大多數公司目前都在調查它們是否會受到影響以及受到的影響程度。有些公司已經與研究者開會討論他們的調查。

5

研究者介紹

本次研究作者團隊，來自加州大學爾灣分校、密西根大學安娜堡分校，亞利桑那州立大學，伊利諾伊大學厄巴納-香檳分校，NVIDIA Research，中國百度深度學習技術與應用研究和國家工程實驗室，嬴徹科技，一共有9名研究人員。

四位同等貢獻第一作者來自加州大學爾灣分校，密西根大學安娜堡分校，亞利桑那州立大學和NVIDIA Research，分別是 Ningfei Wang, Yulong Cao, Chaowei Xiao 和 Dawei Yang。三位教授分別是 Qi Alfred Chen, Mingyan Liu, Bo Li。以及兩位來自於百度和嬴徹科技的研究人員，分別是 Jin Fang 和 Ruigang Yang。