基于单目视觉的车辆3D检测关键技术研究.pdf

哈尔滨工业大学硕士学位论文

摘要

自动驾驶是目前人工智能的三大应用领域之一，其原理是汽车通过传感器等

设备来感知周围的环境，做出决策，并自主控制其运动。因此，车辆对周围障碍

物的检测是自动驾驶中的一项重要的基础性工作。车载设备中，单目摄像头对部

署条件要求最低，在全世界中部署应用广泛且造价便宜。因此，基于单目视觉的

车辆3D检测具有广阔的应用前景。

单目视觉的车辆3D检测是利用单个摄像头采集的图像，从图像中对周围车

辆进行3D包围框的检测，一般包含车辆的尺寸、朝向角、中心点的位置等信息。

由于单目图像中缺乏准确的深度信息，仅仅通过透视等几何逻辑和图像的语义特

征来检测目标的3D位置，因此利用单目图像来估计车辆的3D位置信息，尤其

是深度信息，具有很大的挑战。同时单目摄像头的固定角度不变，许多车辆会被

相机的成像所截断，只有一部分显示在图像内，车辆的3D中心点难以准确定位。

而这些车辆往往距离检测车辆较近，对车辆的行驶具有潜在的安全隐患。基于以

上问题，本文以MonoDETR网络为基础，进行了两个方面的改进：

（1）针对深度估计的问题，本文将实例分割网络中从“粗到细”不断进行特

征增强的思想，应用到图片的深度特征编码中，提高深度特征的表示能力。算法

首先对车辆前景预测深度值，并根据深度值计算其对应的视觉特征，然后作用于

初始深度特征图中来丰富每个像素的深度特征。另一方面，利用车辆前景深度生

成的深度特征，算法模型能够更加关注包含前景的图像区域，有利于车辆的识别

和检测。

（2）针对截断车辆检测的问题，本文设置并对比了三种截断车辆回归点的

选择方式。算法通过设置回归点以及回归点与车辆3D中心的映射点的偏移值，

来实现截断车辆的真实3D中心点的检测。

经过在公开数据集KITTI上的实验对比表明，改进后的算法模型能够对图片

中截断车辆进行有效的检测，算法更具实用性的同时，也增强了对图片中正常的

车辆的识别与检测的能力。

关键词：单目视觉；目标3D检测；visiontransformer；特征增强

I

哈尔滨工业大学硕士学位论文

Abstract

Autonomousdrivingisoneofthethreemajorapplicationareasofartificial

intelligence.Theprincipleisthatthecarperceivesthesurroundingenvironment

throughsensorsandotherdevices,makesdecisions,andcontrolsitsmovement

autonomously.Therefore,thevehiclesdetectionofsurroundingobstaclesisan

importantbasicworkinautomaticdriving.Themonocularcamerainthevehicle

equipmenthaslowconstraintsonthedeploymentconditions.Itiswidelydeployedin

theworldandthecostislow.The3Ddetectionofvehiclesbasedonmonocularvision

hasbroadapplicationprospects.

The3Dvehicledetectionofmonocularvisionistouseasinglecameratocollect

ima