CN118172632B 一种基于多模态融合的无人系统三维目标检测方法和装置 （湖南大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN118172632B(45)授权公告日2025.07.11

(21)申请号202410292746.8

(22)申请日2024.03.14

(65)同一申请的已公布的文献号申请公布号CN118172632A

(43)申请公布日2024.06.11

(73)专利权人湖南大学

地址410000湖南省长沙市岳麓区麓山南

路麓山门

(72)发明人毛建旭彭紫扬贺振宇王耀南刘彩苹谢核陶梓铭易俊飞

陈诺天肖硕昊张辉朱青

(74)专利代理机构北京惟盛达知识产权代理有限公司11855

专利代理师陈钊

(51)Int.CI.

GO6V10/80(2022.01)

GO6V10/82(2022.01)

GO6V10/774(2022.01)

GO6V20/17(2022.01)

(56)对比文件

CN115761723A,2023.03.07审查员胡乔波

权利要求书3页说明书13页附图6页

(54)发明名称

一种基于多模态融合的无人系统三维目标检测方法和装置

(57)摘要

CN118172632B本申请涉及一种基于多模态融合的无人系统三维目标检测方法及装置，所述方法包括以下步骤：获取待检测的道路场景的二维图像和三维点云数据，并输入多模态融合检测模型；多模态融合检测模型包括时序动态卷积融合模块，其利用三维位置嵌入编码器，根据前一帧的三维世界空间坐标与前一帧的二维图像特征生成前一帧的三维位置感知特征，前一帧的三维位置感知特征经位姿变换后作为当前帧的补充位置感知特征；根据当前帧的补充位置感知特征与当前帧的三维点云特征生成第一融合帧三维点云特征；基于第一融合帧三维点云特征和当前帧的二维图

CN118172632B

问题。

利用图像特征提取网络提取二维图像的二维图像特征

利用点云特征提取网络提取三维点云的三维点云特征

利用时序动态卷积融合模块，将所有视角共享的相机截锥体空间进行离散

生成网格点，利用相机参数将网格点转换为三维世界空间坐标，利用三维

位置嵌入编码器，根据三维空间坐标与前一帧的二维图像特征生成前一帧

的三维位置感知特征，三维位置感知特征经位姿变换后作为当前帧的补充

位置感知特征：根据当前帧的补充位置感知特征与当前帧的三维点云特征

生成第一融合帧三维点云特征；基于第一融合帧三维点云特征和当前帧的

二维图像特征得到初步融合特征

在自适应门控模块中，利用初步融合特征和二维图像特征得到门控融合特

征和门控图像特征，将门控特征投影到门控图像特征，并进行卷积操作，

得到门控图像增强特征

利用点云密度融合模块得到融合跨模态扁平特征

在密度置信预测模块中，根据融合跨模态扁平特征得到边界框与置信度

S221

S222

S223

S224

S225

S226

CN118172632B权利要求书1/3页

2

1.一种基于多模态融合的无人系统三维目标检测方法，其特征在于，包括以下步骤：

利用相机和激光雷达分别获取待检测的道路场景的二维图像数据和三维点云数据；

将待检测的道路场景的二维图像数据和三维点云数据作为预先构建的多模态融合检测模型的输入；所述多模态融合检测模型包括：

点云特征提取网络，用于提取三维点云数据的三维点云特征；

时序动态卷积融合模块，将相机截锥体空间进行离散生成网格点，利用相机参数将网格点转换为三维世界空间坐标，利用三维位置嵌入编码器，根据前一帧的三维世界空间坐标与前一帧的二维图像特征生成前一帧的三维位置感知特征，前一帧的三维位置感知特征经位姿变换后作为当前帧的补充位置感知特征；根据当前帧的补充位置感知特征与当前帧的三维点云特征生成第一融合帧三维点云特征；基于第一融合帧三维点云特征和当前帧的二维图像特征得到初步融合特征；

多模态融合检测模型基于初步融合特征输出检测结果；

所述多模态融合检测模型还包括图像特征提取网络，图像特征提取网络用于提取二维图像数据的二维图像特征；

所述时序动态卷积模块中，基于第一融合帧三维点云特征和当前帧的二维图像特征得到初步融合特征，包括：

利用子流形稀疏卷积，预测所述第一融合帧三维点云特征的每个维度的重要性分数，并生成重要性权重分布图；

若所述第一融合帧三维点云特征的权重大于或等于设定的重要性判别阈值则认为该特征为重要