CN114119749B 一种基于密集关联的单目3d车辆检测方法 （同济大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114119749B(45)授权公告日2025.07.01

(21)申请号202111405543.8

(22)申请日2021.11.24

(65)同一申请的已公布的文献号申请公布号CN114119749A

(43)申请公布日2022.03.01

(73)专利权人同济大学

地址200092上海市杨浦区四平路1239号

(72)发明人田炜陈涵晟黄禹尧邓振文谭大艺韩帅

(74)专利代理机构上海科盛知识产权代理有限公司31225

专利代理师彭瑶

(51)Int.CI.

GO6T7/73(2017.01)

GO6V10/25(2022.01)

GO6V10/82(2022.01)

GO6N3/045(2023.01)

GO6N3/08(2023.01)

(56)对比文件

HanshengChen.MonoRUn:Monocular3D

ObjectDetectionbyReconstructionand

UncertaintyPropagation.2021IEEE/CVF

ConferenceonComputerVisionandPatternRecognition(CVPR).2021,正文第1节，第2节，第3.1-3.4、4.2节，图2,图5.

审查员李晨

权利要求书3页说明书8页附图2页

(54)发明名称

一种基于密集关联的单目3D车辆检测方法

(57)摘要

CN114119749B本发明提供一种基于密集关联的单目3D车辆检测方法，包括以下步骤：通过车载相机采集单张的前视图像；计算前视图像中的各像素点在相机坐标系下的2D坐标；映射并计算前视图像中的各像素点在目标局部坐标系下的3D坐标；通过自下而上的实例分割方法划分前视图像中的各目标车辆在前视图像上所占的2D空间区域，并根据2D空间区域选取各目标车辆的像素点及其对应的2D坐标和3D坐标，并构建密集2D-3D关联；由密集2D-3D关联构建PnP问题并求解，获取目标车辆的位置和角度；由网络分支预测车辆的长、宽、高尺寸，并结合获取的目标车辆的位置和角度，获取目标车辆的3D检测框。与现有技术相比，该

CN114119749B

相机内参

相机内参RGB图像

像素点3D坐标

(目标局部坐标系)

选取各个目标的2D-3D关联点

求解PnP问题得到车辆位置、角度

车辆3D框

像素点2D坐标

(相机坐标系)

尺寸估计

实例分割

CN114119749B权利要求书1/3页

2

1.一种基于密集关联的单目3D车辆检测方法，用于自动驾驶车辆对交通场景中车辆的识别和定位，其特征在于，包括以下步骤：

S1:通过车载相机采集单张的前视图像；

S2:计算所述前视图像中的各像素点在相机坐标系下的实际2D坐标；

S3:对所述前视图像进行处理，依次获取多尺度特征、高分辨率特征图，以及由高斯混合模型描述的高分辨率特征图上各像素点的3D坐标向量的概率分布，将各像素点的3D坐标向量的概率分布处理为各像素点在各局部坐标系下的动态3D坐标的概率分布，训练时再将3D分布投影为相机坐标系下的2D坐标的概率分布，并采用负对数似然损失函数训练网络以最小化重影误差，使各像素点实际的2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每一个像素点生成一组2D-3D关联；

S4:设置第一网络分支，根据所述高斯混合模型，判定各像素点对应的唯一目标车辆，并对各像素点对应的唯一目标车辆的中心位置进行聚类，实现自下而上的实例分割，进而使得S3中构建的2D-3D关联被划分为各个车辆的密集2D-3D关联；

S5:由所述密集2D-3D关联构建PnP问题并进行求解，获取所述目标车辆的位置和角度；

S6:根据S4的实例分割结果，设置第二网络分支，获取各像素点对应的唯一目标车辆的尺寸，并结合S5获取的目标车辆的位置和角度，获取包含位置、角度、尺寸信息的车辆3D检

测框；

所述局部坐标系为以每个所述目标车辆的底面中心点为原点，以每个所述目标车辆的前方为x轴，以每个所述目标车辆的下方为y轴，以每个所述目标车辆的左方为z轴而建立的坐标系；

所述S3包括以下步骤：

S3.1:依次通过残差网络和特征金字塔网络对前视图像进行处理