CN115830423B 基于毫米波雷达与可见光图像融合的目标检测方法 （西安电子科技大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115830423B(45)授权公告日2025.07.01

(21)申请号202211597596.9

(22)申请日2022.12.12

(65)同一申请的已公布的文献号申请公布号CN115830423A

(43)申请公布日2023.03.21

(73)专利权人西安电子科技大学

地址710071陕西省西安市太白南路2号

专利权人西安交通大学

(72)发明人刘向丽范文靖王志国李赞许明辉付祎李思远

(74)专利代理机构陕西电子工业专利中心

61205

专利代理师田文英王品华

(51)Int.CI.

GO6V10/80(2022.01)

GO6V10/82(2022.01)

GO6N3/08(2023.01)

GO6V10/774(2022.01)

GO6V10/40(2022.01)

GO6F18/10(2023.01)

GO6N3/0464(2023.01)

(56)对比文件

CN114218999A,2022.03.22CN114254696A,2022.03.29审查员傅重添

权利要求书2页说明书7页附图2页

(54)发明名称

基于毫米波雷达与可见光图像融合的目标检测方法

(57)摘要

CN115830423B本发明公开了一种于毫米波雷达与可见光图像融合的目标检测方法，其实现方法为：对雷达数据进行预处理，得到雷达图像；搭建毫米波雷达与可见光图像融合的目标检测网络，包括特征提取子网络、图像融合子网络以及RetinaNet网络；将经过预处理过的雷达图像和可见光图像输入毫米波雷达与可见光图像融合的目标检测网络进行训练，得到训练好的网络模型；测试集的雷达数据经过同样的预处理之后与可见光图像输入训练好的模型进行测试，得到目标检测结果。本发明相比于单独的图像检测方法，检测精度更高，能获得较好的检测结果，可用于进行目

CN115830423B

对毫米波雷达数据进行

对毫米波雷达数据进行预处理生成雷达图像

生成训练集和测试集

构建一个雷达特征提取子网络

构建可见光特征提取子网络

构建雷达与可见光图像融合子网络

构建目标检测网络

训练目标检测网络

训练完成后输入测试集数据进行目标检测

CN115830423B权利要求书1/2页

2

1.一种基于毫米波雷达与可见光图像融合的目标检测方法，其特征在于，对毫米波雷达数据进行预处理生成雷达图像，在目标检测网络中构建雷达与可见光图像融合子网络；该方法的步骤包括如下：

步骤1,对毫米波雷达数据进行预处理生成雷达图像：

步骤1.1,车载雷达在获取雷达传感器接收雷达回波信号数据的同一时刻，车载视觉传感器获得与雷达回波信号数据对应的可见光图像；

步骤1.2,将雷达回波信号数据转换矩阵A,矩阵A中的行代表距离，列代表角度；对矩阵A进行取模后再归一化，得到一个128*128*1大小的矩阵B,对矩阵A进行归一化后得到128*128*2的矩阵C,将矩阵B与矩阵C进行拼接得到矩阵D;

步骤1.3,将矩阵D保存成雷达图像；

步骤2,生成训练集：

将雷达图像与可见光图像均生成json格式的标注文件，将雷达图像、可见光图像及其生成的标注文件组成训练集；

步骤3,构建一个雷达特征提取子网络：

搭建一个10层的特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，将第一至第五卷积层的卷积核大小分别设置为7×7,1×1,1×1,3×3,1×1;卷积核数量分别设置为64,256,64,64,256;将第一至第五批规范化层参用FrozenBatchNorm函数实现；

步骤4,构建可见光特征提取子网络：

搭建一个22层的可见光特征提取子网络，其结构依次为：第一卷积层，第一批规范化层，第二卷积层，第二批规范化层，第三卷积层，第三批规范化层，第四卷积层，第四批规范化层，第五卷积层，第五批规范化层，第六卷积层，第六批规范化层，第七卷积层，第七批规范化层，第八卷积层，第八批规范化层，第九卷积层，第九批规范化层，第十卷积层，第十批规范化层，第十一卷积层，第十一批规范化层；将第一至第十一卷积层的卷积核