基于相机激光雷达融合的目标检测方法.docxVIP

基于相机激光雷达融合的目标检测方法

摘要：针对单一传感器在自动驾驶车辆环境感知系统中易受环境干扰的问题，通过融合激光雷达点云数据和相机图像数据，提出一种强鲁棒性的目标检测方法。首先，通过YOLOv4和Pointpillars分别实现相机的2D目标检测和激光雷达的3D目标检测；然后将点云从3D投影到2D笛卡尔坐标下并计算相机帧下的3D边框；进而将相机帧中的3D边界框转换为图像上的2D边框；最后，计算在同一图像上显示的相机和激光雷达检测框的IOU指标后进行边框融合并修正融合后的目标置信度，最终输出目标的融合框、类别和距离信息。在KITTI数据集上的实验结果表明，相较单一传感器的目标检测方法，所提出的方法通过点云和图像数据的优势互补提高了目标检测的精度。

关键词：点云图像；后期融合；置信度修正；目标检测

中图分类号：U472.9；TP391.4?收稿日期：2023-11-20

DOI：10.19999/j.cnki.1004-0226.2024.02.019

1前言

由于自动驾驶车辆环境感知系统中传感器本身硬件性能的局限性，基于单一传感器的目标检测技术有很大的局限性，多传感器融合目标检测技术可以实现不同传感器间的优势互补，因此近年来多传感器融合技术受到了广泛的关注。传感器融合可以分为前期、中期和后期融合[1]。前融合即数据级融合，直接融合不同传感器的原始数据，具有较高的准确性，但不易将不同维度的数据统一，数据处理量大，实时性较低。中期融合即特征级融合，对不同数据分别提取原始特征，再融合多个特征，根据目标已有特征对融合特征进行匹配，获得目标的信息。后融合即结果级融合，分别在不同的原始数据下检测得到在该数据类型下的目标包络框、类别、位置等信息，然后对目标的包络框等信息进行融合。后融合的方法具有较高的鲁棒性且不受传感器类别的影响。

国内外学者近年来对传感器融合技术已经有了一定的研究。陈俊英等[2]通过使用VoxelNet和ResNet的深度特征学习方法得到点云特征和图像特征后，基于互注意力模块挖掘模态间的互补信息，得到融合特征后使用区域提案网络和多任务学习网络实现了特征级融合3D目标检测及定位，但该方法数据处理量大，实时性难以保证。

张青春等[3]提出了一种基于直线与平面拟合的算法，完成了相机与激光雷达的融合，更好地完成了机器人的环境识别任务。该方法使用的是单线激光雷达，检测精确度仍有待提升。

WEI等[4]提出一种减少激光雷达假阳性检测的融合方法，利用在相机图像上放置信标通过神经网络实现相机到LiDAR的投影，信标能够提高激光雷达检测目标的能力从而实现避免假阳性的检测，该方法有效提升目标位置的检测性和信息标记能力。

郑少武等[5]提出了一种基于激光点云与图像信息融合的交通环境车辆检测算法，通过对图像和点云原始数据分别进行目标检测与跟踪，利用匈牙利算法对检测结果进行最优匹配，并结合点云到图像的投影对未匹配的图像检测框进行进一步筛选，最终对融合列表进行分类后择优输出。

张堡瑞等[6]针对水面这种特殊环境及激光雷达在水面介质中的点云反射特点，提出点云与图像融合的方法来解决水面漂浮物检测问题。有效消除水面漂浮物倒影或水面波纹造成的误识别情况，弥补了相机检测对光照依赖的短板，但该方法仅适用于特定场景，有一定的局限性。

CHAVEZ-GARCIA[7]采用两次聚类算法聚类点云数据，并采用快速Adaboost分类器基于Haar-like特征识别车辆目标。

陈毅等[8]首先将点云数据前向投影形成二维深度图，并通过深度补全方法将深度图的分辨率提高至与图像分辨率一致，然后使用YOLOv3算法分别检测彩色图和深度图中的车辆目标，最后根据改进的D-S证据理论对检测结果进行特征级融合，但对较小目标的识别效果有待提高。

常昕[9]提出了一种基于激光雷达和相机的信息融合的目标检测及追踪算法。利用激光点云数据聚类方法对可通行区域的障碍物进行检测，并投影到图片上，确定跟踪目标后在粒子滤波的算法基础上，利用颜色信息追踪目标，采用激光雷达的目标检测结果对目标追踪结果进行修正，减小了光照、遮挡、背景干扰等因素的影响，提高目标追踪效果。

针对以上问题，在环境感知系统中保证实时性的前提下，為了提高目标检测精度、降低误检率，本文提出一种通用的基于激光点云与图像信息后融合的目标检测方法，选取性能优异的目标检测算法作为基础网络，充分利用点云空间坐标与图像像素坐标的相互转换关系，实现三维目标与二维目标的最优匹配，输出可靠的融合结果。

2融合方法概述

仅使用相机对道路目标进行检测，易受到光照条件等因素影响，且无法获得目标的距离位置信息；仅使用激光雷达传感器进行目标检测，受激光雷达自身线束及探测距离影响较大。为此，本文提出一种相机和激光雷达融合的目标检测方法，整个系统流程如图1所示。