CN116977963B 基于bev视角的自动驾驶多模态协同感知方法及系统 （北京化工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116977963B(45)授权公告日2025.07.08

(21)申请号202310943106.4

(22)申请日2023.07.28

(65)同一申请的已公布的文献号申请公布号CN116977963A

(43)申请公布日2023.10.31

(73)专利权人北京化工大学

地址100029北京市朝阳区北三环东路15

号

(72)发明人王坤峰陈思涵王可秋

(74)专利代理机构北京市恒有知识产权代理事务所(普通合伙)11576

专利代理师郭文浩尹文会

(51)Int.CI.

GO6V20/56(2022.01)

GO6V10/80(2022.01)

GO6V10/26(2022.01)

GO6V10/40(2022.01)

G06T7/50(2017.01)

(56)对比文件

CN

CN

113159151

115049821

A,2021.07.23

A,2022.09.13

审查员张皓静

权利要求书3页说明书13页附图7页

(54)发明名称

基于BEV视角的自动驾驶多模态协同感知方法及系统

(57)摘要

CN116977963B本发明属于计算机视觉领域，具体涉及了一种基于BEV视角的自动驾驶多模态协同感知方法及系统，旨在解决自动驾驶多模态数据在融合过程中的协同感知效果差的问题。本发明包括：获取原始点云数据和多视角相机图像数据；对原始点云数据进行体素化并特征提取获得点云BEV特征；提取多视角相机图像数据特征并进行前视特征转换获得图像BEV特征；对原始点云数据对应的稀疏深度图和多视角相机图像数据进行深度补全和视角转换，获得深度BEV特征；对各BEV特征进行特征融合，得到多模态BEV融合特征；通过多任务头对多模态BEV融合特征进行处理得到三维目标检测结果和BEV视角语义分割结果。本发

CN116977963B

获取原始点云数据和多视角相机图像数据

获取原始点云数据和多视角相机图像数据

将原始点云数据坐标系转化为相机坐标系，并

将相机坐标系下的点云数据投影至多视角相机图像数据，获得带有部分像

素深度信息的多视角图像数据，记为第一特征：

带有部分像素深度信息的多视角图像数据包括多视角相机图像数据和对应的稀疏深度图

对原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征

通过图像BEV特征提取网络提取多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征

通过深度补全网络对多视角相机图像数据和对应的稀疏深度图进行深度补全和视角转换，获得深度BEV特征

对点云BEV特征、图像BEV特征和深度BEV特征进行特征融合，获得多模态BEV融合特征

通过多任务头进行多模态BEV融合特征的目标检测和分割，获得三维目标

CN116977963B权利要求书1/3页

2

1.一种基于BEV视角的自动驾驶多模态协同感知方法，其特征在于，所述方法包括：

获取原始点云数据和多视角相机图像数据；

将原始点云数据坐标系转化为相机坐标系，将所述相机坐标系下的点云数据投影至所述多视角相机图像数据，获得带有部分像素深度信息的多视角图像数据，记为第一特征；所述带有部分像素深度信息的多视角图像数据包括所述多视角相机图像数据和对应的稀疏深度图；

对所述原始点云数据进行体素化处理，并通过点云BEV特征提取网络提取体素化处理获得的体素化点云数据的特征，获得点云BEV特征；

通过图像BEV特征提取网络提取所述多视角相机图像数据的特征，并进行前视特征转换，获得图像BEV特征；

通过深度补全网络对所述多视角相机图像数据和对应的所述稀疏深度图进行深度补全和视角转换，获得深度BEV特征：

使用深度补全网络将所述第一特征拆分成图像特征和稀疏深度图特征；

基于Transformer网络构建对所述稀疏深度图特征进行稠密化处理的DCT网络，用DCT网络对所述图像特征和所述稀疏深度图特征进行多次编码解码处理获得稠密的多视角深度图特征，记为第五特征；

使用相机内参矩阵和所述第五特征的深度值将图像坐标(x,y’)转换为相机坐标系下的三维坐标(X_c,Y_c,Z_c),根据相机外参矩阵将相机坐标系下的原始点云数据转换为世界坐标系下的点云数据，并将世界坐标系下的点云数