转载 | 自动驾驶中的9种传感器融合算法

在自动驾驶汽车中,传感器融合这项技术是必不可少的存在,因为它能提供更高的可靠性、冗余性以及最重要的安全性。

让我们通过一个例子来更好地理解什么是传感器融合,以利用激光雷达和摄像头进行行人检测为例,如果两个传感器中的一个没有检测到行人,另一个传感器就能作为冗余来增加检测到行人的机会,如果两个传感器都检测到了行人,传感器融合技术则能使我们更准确地知道行人位置。

传感器融合实际上就是是在融合传感器收集到的数据,他也可以叫做数据融合,目前一共有3大类9种方法可以构建数据融合算法。

一.按抽象级别进行分类

目前最常见的融合类型就是抽象级别融合。按抽象级别进行传感器融合可分为低级(Low Level)、中级(Mid-Level)和高级(High-Level)传感器融合,进行分类的条件是数据在什么时候进行融合。

1.低级融合:低级别传感器融合是融合来自多个传感器的原始数据。例如,融合来自激光雷达的点云数据和来自摄像头的像素级数据,这种类型的融合因为其考虑了所有数据,所以在未来几年有很大的发展潜力。

图片

2.中级融合:中级传感器融合是将传感器独立检测到的物体进行融合也就是融合检测数据,如果摄像头检测到障碍物,雷达也检测到了,我们将来自激光雷达的3D边界框与来自对象检测算法的2D边界框融合在一起,将3D激光雷达的结果映射到2D中,并在2D影像中进行数据融合,以形成对障碍物的位置、类别和速度的最佳估计。但它严重依赖于检测器的检测效果。如果一个检测器失败,可能会导致整个融合结果都失败。

图片

3.高级融合:高级融合是融合检测对象及其轨迹的融合,高级融合不仅依赖于检测,还依赖于预测和跟踪,其优点是简单。但存在的问题是可能会丢失太多数据,如果追踪是错误的,那么整个融合结果也是错误的。

图片

二.按中心化级别进行分类

融合算法的第二类方法是按中心化级别进行分类,该分类是按照数据融合在哪里发生进行区分的,数据融合可能在主计算机进行,也可能在每个单独的传感器进行。

1.中心化融合:只使用一个中央单元处理器进行数据融合。

2.去中心化融合:每个传感器融合数据并将其转发到下一个。

3.分布式融合:每个传感器在本地处理数据并将其发送到下一个单元

图片

**
**

三.按竞争级别进行分

1.竞争融合:竞争融合是指传感器用于相同目的。例如,同时使用雷达和激光雷达来检测行人时。这里发生的数据融合过程称为冗余,也就是竞争融合。

图片

2.互补融合:互补融合是指使用不同的传感器观察不同的场景来获取其他传感器无法获得的东西。例如,使用多个摄像头构建全景图。由于这些传感器相互补充,所以称作互补融合。

图片

3.协同融合:协同融合是关于使用两个或更多传感器来产生同一个对象的新场景,例如,在使用2D传感器进行3D扫描或3D重建时,就是协同融合。

图片

以上的这些数据融合方式各不相同,但这些融合通常由贝叶斯算法完成最终的计算,例如卡尔曼滤波器等,我们可以通过融合数据来更好的估计物体的速度、位置或类别,来提供更安全、更高效的智能驾驶服务。