基于点云与视觉的感知融合方法研究.pdfVIP

摘要

随着智能驾驶技术的不断发展，智能驾驶车辆对周围环境的精确感知要求也

越来越高。目前，越来越多的车辆搭载了不同种类的传感器，其中激光雷达和视

觉相机最为重要。但是激光雷达的点云数据和视觉相机的图像数据之间存在维度、

特征提取等差异，使得两种传感器的数据在融合互补方面存在困难。主要体现在第

一，两种传感器所在坐标系转换间的误差，即标定矩阵带来的误差，这会直接影响

整体信息融合的效果。第二，两种数据的优势互补信息无法更深层次的融合，即由

于两者之间的数据结构差异，进行融合时往往只能采取一些拼接、残差连接等操作，

这样无法有效融合深层次信息甚至可能会造成原有模态特征的丢失。本文主要针

对这两点问题探索多模态信息融合方法，研究内容如下：

1.提出了一种基于复合边界特征的激光雷达相机联合在线标定方法。该方法

首先通过分析传感器数据采集原理发现在点云数据中存在两种不同的边界信息，

随后利用基于区域复生长提取的深度不连续边界和基于平面拟合提取的深度连续

边界两类边界特征的并集作为完整的点云特征，采用成熟的Canny边界提取方法

获取图像边界特征。然后，利用K近邻和K-D树对两种模态对应的边界进行特征

匹配，并根据特征匹配关系建立标定目标函数，通过迭代求解的方式获取最优的标

定矩阵。实验表明，采用点云图像复合边界特征进行标定的方法在精度上具有领先

优势，实现了旋转角度误差控制在0.3°内，平移矩阵误差控制在4cm内的高精度。

同时得益于本方法依靠自然环境特征进行在线标定，整个标定流程的时间控制在

了60s内。

2.提出了一种基于交叉注意力机制的点云图像融合方法。该方法通过设计的

双流特征提取网络分别对点云特征和图像特征进行提取和特征对齐。在已有两种

模态特征的基础上，设计了基于交叉注意力机制的信息融合模块，得到模态间信息

的关联矩阵并获取感兴趣特征，对模态间信息进行深度融合。然后通过基于KL散

度设计的感知逼近损失函数使点云分支的特征分布学习逼近融合信息的特征分布，

使得单点云分支能够利用图像特征丰富的颜色和纹理信息，同时也减小了模型复

杂度和计算量。实验表明，本方法在SemanticKITTI数据集上的平均分割精度达到

了70.5%，目前在多种细分类别中获得第一。同时，该方法在推理速度仅为62ms，

兼顾了分割精度和分割效率。

关键词：激光雷达，视觉相机，联合标定，信息融合，智能驾驶

ABSTRACT

Withthecontinuousdevelopmentofintelligentdrivingtechnology,thereisan

increasingdemandforpreciseperceptionofthesurroundingenvironmentbyintelligent

drivingvehicles.Currently,moreandmorevehiclesareequippedwithdifferenttypesof

sensors,amongwhichLiDARandvisioncamerasarethemostimportant.However,there

aredifferencesindimensionsandfeatureextractionbetweenLiDARpointclouddataand

visualcameraimagedata,makingitdifficultforthedatafromthesetwosensorsto

complementeachotherinfusion.Thisdifficultyismainlyreflectedintwoaspects.Firstly,

thereisanerrorinthetransformationbetweenthecoordinatesystemsofthetwosensors,

namelytheerrorintroducedbythecalibrationmatrix.Thisdirectlyaffectsthe

effec