CN113971801B 一种基于四类多模态数据融合的目标多维度检测方法 （南京师范大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN113971801B(45)授权公告日2025.07.04

(21)申请号202111255921.9

(22)申请日2021.10.27

(65)同一申请的已公布的文献号申请公布号CN113971801A

(43)申请公布日2022.01.25

(73)专利权人南京师范大学

地址210024江苏省南京市鼓楼区宁海路

122号

专利权人江苏省中以产业技术研究院

(72)发明人吕昊方铭宇宋治儒钱伟行刘童亓霈孟佳杰汪澜泽

马玉浩

(51)Int.CI.

GO6V20/64(2022.01)

GO6V10/40(2022.01)

GO6V10/762(2022.01)

GO6V10/774(2022.01)

GO6V10/80(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/084(2023.01)

(56)对比文件

CN111652288A,2020.09.11CN113222064A,2021.08.06审查员王丹丹

(74)专利代理机构南京经纬专利商标代理有限

公司32200专利代理师朱小兵

权利要求书1页说明书4页附图2页

(54)发明名称

非力地

非力地

m

(57)摘要

CN113971801B本发明公开了一种基于四类多模态数据融合的目标多维度检测方法，包括：采集待检测目标的雷达点云图像、红外图像、磁场图像以及RGB图像，搭建卷积神经网络对四种输入图像进行特征提取，将预定义三维锚框投影到四种特征图上，搭建引入注意力模块的RPN网络生成建议框，将建议框投影到四种特征图上，搭建全连接网络实现边界框回归、方向估计和类别分类。本发明针对采用通常的RGB图像目标检测方法的缺陷，

CN113971801B

CN113971801B权利要求书1/1页

2

1.一种基于四类多模态数据融合的目标多维度检测方法，其特征在于，包括以下步骤：

步骤1、采集待检测目标的雷达、红外、磁场以及彩色图像，将其划分为训练集、验证集和测试集，并且进行三维锚框标注，生成数据集；

步骤2、搭建四个结构独立的卷积神经网络作为主干网络，用于提取四种输入图像的特征图；具体是通过四个结构独立的卷积神经网络分别对四种输入图像进行特征提取，主干网络采用VGG16结构，在conv-4处截断，每个卷积层滤波器数量变为原来的一半，最终提取四个256通道的特征图，同时采用GAU模块增强特征图的信息；

步骤3、在训练集上通过聚类预先设置三维锚框，投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建RPN网络生成建议框，同时引入注意力模块；具体包括：

步骤3.1、在训练集上采用聚类算法为每个类别生成大量的预定义锚框，并将其投影到主干网络的四种输出特征图上，裁剪对应的部分并且通过池化操作调整为相同宽高的特征图；

步骤3.2、对于每个锚框，通过元素平均操作将四种特征图进行融合，然后将其输入全连接网络，最终输出锚框的回归参数以及为前景的分数；

步骤3.3、在RPN网络中引入了注意力模块，使用分类识别定位策略Grad-CAM,获取最后一个卷积层的输出特征图，在进行反向传播时求得特征图的梯度，取平均和最大值的和作为每个特征图的权重，最后加权求和经过LeakyReLU激活函数得到类激活图；再使用反向注意力网络IAN生成生成空间方向的反向注意力图和通道方向的反向注意力图，然后组合生成反向注意力图，最后与卷积层输出特征图相乘；

步骤4、将RPN网络生成的建议框投影到四种特征图上，裁剪并池化到相同大小进行融合，搭建全连接网络，生成最终的预测框，同时引入注意力模块。

2.根据权利要求1所述的多维度检测方法，其特征在于，步骤1包括：

步骤1.1、将雷达、红外传感器、磁传感器以及摄像头集成到一起，确保四种图像对齐，采集足够数量的四种类型的目标图像，去除其中不清晰的图像，其中雷达点云数据转换成BEV鸟瞰图；

步骤1.2、将获得的数据集按一定比例划分为训练集、验证集和测试集，对训练集和验证集进行三维锚框标注，测试集用于评估目标检