CN114898356B 基于球体空间特征和多模态交叉融合网络的3d目标检测方法 （安徽理工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114898356B(45)授权公告日2025.07.01

(21)申请号202210536412.1

(22)申请日2022.05.12

(65)同一申请的已公布的文献号申请公布号CN114898356A

(43)申请公布日2022.08.12

(73)专利权人安徽理工大学

地址232001安徽省淮南市山南新区泰丰

大街168号

GO6N3/045(2023.01)

GO6N3/0464(2023.01)

GO6N3/048(2023.01)

GO6N3/08(2023.01)

(56)对比文件

WO2021000664A1,2021.01.07

CN114092780A,2022.02.25审查员王宛生

(72)发明人夏晨星李续兵高修菊孙延光王晶晶

(51)Int.CI.

GO6V20/64(2022.01)

GO6V10/44(2022.01)

GO6V10/80(2022.01)

GO6V10/774(2022.01)

权利要求书2页说明书6页附图1页

(54)发明名称

基于球体空间特征和多模态交叉融合网络的3D目标检测方法

(57)摘要

CN114898356B本发明属于计算机视觉领域，提供了基于球体空间特征和多模态交叉融合网络的3D目标检测算法，包括以下步骤：1)利用体素质心下采样算法从原始点云数据中心选取关键点，然后以关键点为中心搜索邻近固定半径内的点；2)利用稀疏卷积对选取的每个球体中的点进行特征提取，得到空间组，再运用卷积操作得到空间特征；3)利用三层UNet网络对RGB图像进行多尺度特征提取，得到语义组，通过MLP将其扩展到与空间特征相同的维度，得到语义特征；4)使用交叉注意力机制融合空间特征与语义特征，融合后的特征再输入到检测头进行检测，并利用混合损失函数训

CN114898356B

CN114898356B权利要求书1/2页

2

1.基于球体空间特征和多模态交叉融合网络的3D目标检测方法，其特征在于，该方法包括以下步骤：

1)利用体素质心下采样算法从原始点云数据中心选取关键点，然后以关键点为中心搜索邻近固定半径内的点；

1.1)收集图像和点云3D目标检测领域相关数据集，包括KITTI数据集，ScanNetV2数据集，Waymo数据集，SUNRGB-D数据集和LyftL5数据集；

1.2)利用具有80256个目标标记的KITTI数据集训练数据集用于训练模型；利用KITTI数据集中的测试数据集，用于检测模型泛化性能；

1.3)首先，利用体素质心下采样算法从原始点云中选取关键点，如下式所示：

其中m为每个体素中点的数量，(x;,y;,z)为点的坐标；

1.4)随后，利用KD-tree近邻搜索算法，以关键点为中心固定搜索半径，得到若干球形空间体素Vspatial,包含若干个点P,,如下式所示：

satial=KD(Kentroia,R),(2)

其中R表示搜索半径；

2)利用稀疏卷积对选取的每个球体中的点进行特征提取，得到空间组，再运用卷积操作得到空间特征；

3)利用三层Unet网络对RGB图像进行多尺度特征提取，得到语义组，通过MLP将其扩展到与空间特征相同的维度，得到语义特征；

4)使用交叉注意力机制融合空间特征与语义特征，融合后的特征再输入到检测头进行检测，并利用混合损失函数训练此模型。

2.基于权利要求1所述基于球体空间特征和多模态交叉融合网络的3D目标检测方法，其特征在于所述步骤2),具体如下：

2.1)首先，利用稀疏卷积(SPConv)对得到的每个球形体素空间内的所有点进行特征的提取，得到空间组，其中稀疏卷积可以表示为SC(m,n,f,s),m表示为输入特征通道数，n表示为输出特征通道数，f表示为过滤器的尺寸，s表示步长并且存在如下关系式：

,(3)

2.2)随后，利用卷积操作得到空间特征，表示为：

S?=Conv(SC(Pv,i)),(4)

其中Pv,表示每个球形空间体素中的点。

3.基于权利要求1所述基于球体空间特征和多模态交叉融合网络的3D目标检测方法，其特征在于所述步骤3),具体如下：

3.1)首先，利用3层UNet网络对RGB图像进行多尺度特征提取，对于左