轉載 | 自動駕駛中的9種傳感器融合算法

在自動駕駛汽車中,傳感器融合這項技術是必不可少的存在,因為它能提供更高的可靠性、冗餘性以及最重要的安全性。

讓我們通過一個例子來更好地理解什麼是傳感器融合,以利用激光雷達和攝像頭進行行人檢測為例,如果兩個傳感器中的一個沒有檢測到行人,另一個傳感器就能作為冗餘來增加檢測到行人的機會,如果兩個傳感器都檢測到了行人,傳感器融合技術則能使我們更準確地知道行人位置。

傳感器融合實際上就是是在融合傳感器收集到的數據,他也可以叫做數據融合,目前一共有3大類9種方法可以構建數據融合算法。

一.按抽象級別進行分類

目前最常見的融合類型就是抽象級別融合。按抽象級別進行傳感器融合可分為低級(Low Level)、中級(Mid-Level)和高級(High-Level)傳感器融合,進行分類的條件是數據在什麼時候進行融合。

1.低級融合:低級別傳感器融合是融合來自多個傳感器的原始數據。例如,融合來自激光雷達的點雲數據和來自攝像頭的像素級數據,這種類型的融合因為其考慮了所有數據,所以在未來幾年有很大的發展潛力。

圖片

2.中級融合:中級傳感器融合是將傳感器獨立檢測到的物體進行融合也就是融合檢測數據,如果攝像頭檢測到障礙物,雷達也檢測到了,我們將來自激光雷達的3D邊界框與來自對象檢測算法的2D邊界框融合在一起,將3D激光雷達的結果映射到2D中,並在2D影像中進行數據融合,以形成對障礙物的位置、類別和速度的最佳估計。但它嚴重依賴於檢測器的檢測效果。如果一個檢測器失敗,可能會導致整個融合結果都失敗。

圖片

3.高級融合:高級融合是融合檢測對象及其軌跡的融合,高級融合不僅依賴於檢測,還依賴於預測和跟蹤,其優點是簡單。但存在的問題是可能會丟失太多數據,如果追蹤是錯誤的,那麼整個融合結果也是錯誤的。

圖片

二.按中心化級別進行分類

融合算法的第二類方法是按中心化級別進行分類,該分類是按照數據融合在哪裡發生進行區分的,數據融合可能在主計算機進行,也可能在每個單獨的傳感器進行。

1.中心化融合:只使用一個中央單元處理器進行數據融合。

2.去中心化融合:每個傳感器融合數據並將其轉發到下一個。

3.分佈式融合:每個傳感器在本地處理數據並將其發送到下一個單元

圖片

**
**

三.按競爭級別進行分

1.競爭融合:競爭融合是指傳感器用於相同目的。例如,同時使用雷達和激光雷達來檢測行人時。這裡發生的數據融合過程稱為冗餘,也就是競爭融合。

圖片

2.互補融合:互補融合是指使用不同的傳感器觀察不同的場景來獲取其他傳感器無法獲得的東西。例如,使用多個攝像頭構建全景圖。由於這些傳感器相互補充,所以稱作互補融合。

圖片

3.協同融合:協同融合是關於使用兩個或更多傳感器來產生同一個對象的新場景,例如,在使用2D傳感器進行3D掃描或3D重建時,就是協同融合。

圖片

以上的這些數據融合方式各不相同,但這些融合通常由貝葉斯算法完成最終的計算,例如卡爾曼濾波器等,我們可以通過融合數據來更好的估計物體的速度、位置或類別,來提供更安全、更高效的智能駕駛服務。