结合激光点云数据的前视目标视觉检测.pdfVIP

摘要

目标检测是自动驾驶汽车最重要的任务之一，传感器的应用是自动驾驶系统

中车辆感知周围环境的基础。在实际驾驶场景中，由于车辆周围环境具有多样性、

复杂性等特点，若只依赖于单个传感器来完成自动驾驶的任务具有安全风险。整合

多种特性互补的传感器，协同工作，共同完成目标检测任务，对保障自动驾驶任务

的安全性有重大意义。本文结合激光点云数据与前视视觉图像数据，基于深度学习

等相关理论，对前视目标检测算法进行了研究，主要研究内容如下：

（1）研究激光雷达传感器和视觉图像传感器的原理，分析激光点云数据和视觉

图像数据的特性，两种数据的优缺点。针对影响前视目标检测的路面信息，引用随

机一致性算法对地面点云进行拟合。针对前视图像数据和激光点云数据空间不一

致的问题，研究坐标转换方法，对激光点云的深度信息进行投影形成深度图。针对

点云数据稀疏有空洞，导致深度图上目标轮廓不明显问题，提出侧重纵向距离加权

中值插值法对稀疏的深度图进行稠密化形成稠密化深度图。

（2）提出基于深度图的目标掩模图流程，对拟合的地面以及稠密化的深度图进

行处理形成目标掩模图，将目标掩模图与前视视觉图像进行数据融合，为后续目标

检测算法打下基础。

（3）对前视目标检测网络进行研究，提出一种结合激光点云和前视视觉图像的

目标检测算法。将基于深度图的目标掩模图与前视视觉图像融合作为网络的输入，

以YOLOv5结构为基础，采用结合通道注意力机制的特征提取网络，增强网络对

目标特征的关注提取，抑制冗余特征。改进空间金字塔池化结构，采用结合特征图

语义信息进行上采样的上采样算子，增强多尺度维度的特征融合，并为网络选择合

适的损失函数以及后处理方法，提高目标检测平均精度。

本文围绕点云数据和图像数据，针对提升前视目标检测精度问题，对于点云数

据进行预处理后，基于本文设计的目标检测算法，在KITTI数据集上进行实验，

提高了对前视目标检测的平均精度。

关键词：目标检测，激光点云，视觉图像，数据融合，深度学习

ABSTRACT

Objectdetectionisoneofthemostimportanttasksofautonomousvehicles,andthe

applicationofsensorsisthebasisforvehiclesinautonomousdrivingsystemstoperceive

thesurroundingenvironment.Inactualdrivingscenarios,duetothediversityand

complexityofthevehiclessurroundingenvironment,therearesafetyrisksifonlyasingle

sensorisreliedupontocompleteautonomousdrivingtasks.Integratingavarietyof

sensorswithcomplementarycharacteristicstoworktogethertocompletetargetdetection

tasksisofgreatsignificancetoensuringthesafetyofautonomousdrivingtasks.This

thesiscombineslidarpointclouddataandforward-lookingvisualimagedata,andstudies

front-viewobjectdetectiontechnologybasedondeeplearningandotherrelatedtheories.

Themainresearchcontentsareasfollows:

(1)TheprinciplesofLiDARsensorsandvisualimagesensorsarestudied,andthe

characteristicsoflidarpointclouddataandvi