CN114359664B 一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法 （江苏大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN114359664B(45)授权公告日2025.07.11

(21)申请号202111615306.4

(22)申请日2021.12.27

(65)同一申请的已公布的文献号申请公布号CN114359664A

(43)申请公布日2022.04.15

(73)专利权人江苏大学

地址212013江苏省镇江市京口区学府路

301号

(72)发明人王海徐岩松蔡英凤陈龙

刘擎超李祎承

(51)Int.CI.

GO6V10/774(2022.01)

GO6V10/764(2022.01)

GO6N3/09(2023.01)

(56)对比文件

US2020025931A1,2020.01.23CN109948661A,2019.06.28

审查员徐莹莹

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

权利要求书4页说明书8页附图3页

(54)发明名称

一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法

(57)摘要

CN114359664B本发明公开了一种基于雷达距离视图与图像的多传感器融合检测方法、模型、及模型训练方法，所发明的检测方法用于驾驶场景下的多目标检测，检测目标主要包括各种车辆、行人、自从车、交通信号灯，交通标志；所发明的检测模型基于神经网路搭建，对激光雷达生成的距离视图和相机生成的图像进行特征提取和数据关联，生成最终用于检测目标的属性参数；模型训练方法用于融合检测模型的训练，通过损失函数对神经网络各层参数的梯度计算和反向传播进行训练，得

CN114359664B

CN114359664B权利要求书1/4页

2

1.一种基于雷达距离视图与图像的多传感器融合检测方法，其特征在于，包括如下步

骤：

步骤1:首先将相机检测的图像进行预处理，然后将预处理后的图像传入多层感知机(MLP),获得高分辨率特征图，通过不同的回归头回归物体的中心点及3DBbox的参数，其中物体中心点的预测通过关键点热图(keypointheatmap)实现；

所述步骤1的具体过程如下：

步骤1.1:假设输入的图像为I∈R**h*3,其中w和h分别为图像的宽和高，对输入的图像进行预处理，通过对图像补灰条的形式在不失真的情况下将图像补为方形；

对输入的图像进行预处理操作，首先选取所有图像长边，对长边进行缩放，缩放后的尺寸为512,缩放因子为r,然后将另外的边乘以r得到缩放后的边长，对于短边采用补零(padding)方式进行补全，将图像最终的尺寸处理为512*512;然后对图像进行归一化操作，使得图像的像素值成高斯正态分布；

步骤1.2:将预处理后的图像送入ResNet-50网络进行卷积和反卷积操作获得高分辨率特征图，其中ResNet-50包括两个基本的模块，分别为ConvBlock和IdentityBlock,其中ConvBlock的输入维度和输出维度不相同，其作用是改变网络的维度；ConvBlock主要包括两个分支：左侧的主分支和右侧的残差分支，主分支是由多层的卷积层(Conv2d)、归一化层(BatchNorm)和激活函数ReLu组成，作用是进一步提取特征，残差分支包括一层卷积层(Conv2d)和归一化层(BatchNorm),其作用是在反向传播时防止梯度消失，ConvBlock的主要流程是：输入的特征图分别通过主分支和残差分支处理，然后将生成的数据进行逐元素相加，再使用激活函数ReLu进行非线性处理；IdentityBlock的输入和输出维度相同，其作用是加深网络，其具体结构和ConvBlock相似，区别是残差分支没有对特征图进行任何处理；输入的特征图经过ConvBlock和IdentityBlock的卷积以及批量归一化(BN)和最大池化(Maxpool)运算后，将生成的特征图传入1个ConvBlock和2个IdentityBlock,再传入1个ConvBlock和3个IdentityBlock,再传入1个ConvBlock和5个IdentityBlock,再传