CN116844129B 多模态特征对齐融合的路侧目标检测方法、系统及装置 （北京化工大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116844129B(45)授权公告日2025.07.04

(21)申请号202310909012.5

(22)申请日2023.07.24

(65)同一申请的已公布的文献号申请公布号CN116844129A

(43)申请公布日2023.10.03

(73)专利权人北京化工大学

地址100029北京市朝阳区北三环东路15

号

(72)发明人王坤峰张书琴王亚东

(74)专利代理机构北京市恒有知识产权代理事务所(普通合伙)11576

专利代理师郭文浩尹文会

(51)Int.CI.

GO6V20/56(2022.01)

GO6V10/774(2022.01)

GO6V10/77(2022.01)

GO6V10/80(2022.01)

GO6V10/82(2022.01)

GO6N3/0464(2023.01)

GO6N3/08(2023.01)

(56)对比文件

CN114092780A,2022.02.25CN114332494A,2022.04.12审查员张皓静

权利要求书2页说明书9页附图4页

(54)发明名称

多模态特征对齐融合的路侧目标检测方法、系统及装置

(57)摘要

CN116844129B本发明属于计算机视觉领域，具体涉及了多模态特征对齐融合的路侧目标检测方法、系统及装置，旨在解决不同模态数据存在时空不同步偏差，阻碍多模态特征融合的问题。本发明方法包括：采用卷积神经网络获取待处理图像的多尺度特征图组；采用PointNet++方法获取特征提取后的点特征集合；不同大小的点集对所述多尺度特征图组进行相邻区域搜索并融合；通过在特征融合模块增加通道级的信息交互层来引入全局信息；特征通过检测头生成三维边界框和分类评分，进行待处理点云的目标检测。本发明方法采用搜索对齐的方法，可以补偿不同模态数据存在

CN116844129B

获取多尺度特征图

获取多尺度特征图获取点云数据、提取点特征集合

将点特征集合分别与多尺度特征图进行融合，得到第一融合图像特征

根据第一融合图像特征与点特征集合对应的图像特征计算得到注意力权重矩阵，根

据注意力权重矩阵将第一融合图像特征与点特征集合对应的图像特征融合，进行拼

接处理后再与对应点特征集合进行拼接，得到增强的点云特征

反卷积得到拼接图像特征，并与增强的点云特征进行融合，得到多模态特征融合点云，根据检测头输出三维边界框和分类评分

CN116844129B权利要求书1/2页

2

1.一种多模态特征对齐融合的路侧目标检测方法，其特征在于，该方法包括：

步骤S10,获取待进行三维目标检测图像及其对应的点云数据；提取输入图像的多尺度特征图；提取所述点云数据的多个点特征集合；

步骤S20,分别将多个点特征集合中的点特征映射在所述多尺度特征图上，得到对应的坐标；根据所述坐标获取区域值，在所述多尺度特征图上获取多个增加了所述区域值后的区域内的图像特征，作为第一融合图像特征；

步骤S30,将所述多尺度特征图的图像特征、各第一融合图像特征分别与预构建的注意力权重矩阵融合，并将融合后的多尺度特征图的图像特征分别与融合后的各第一融合图像特征进行拼接，得到第二融合图像特征，将所述第二融合图像特征与对应的所述点特征集合进行拼接，得到增强的点云特征；

所述增强的点云特征，其获取方法为：

步骤S31,将所述点特征集合中的点云特征F,、图像特征F和第一融合图像特征F′,通过多个可学习权重矩阵进行加权处理，得到注意力权重矩阵W

其中，W?、W?和W?为可学习权重矩阵；

步骤S32,根据所述Wattention、所述Wattention、所述F、所述F′得到增强的点云特征F′p;

其中，C代表特征拼接操作，U代表取并集操作；

步骤S40,对各多尺度特征图的图像特征进行反卷积处理，并将反卷积处理后的图像特征进行拼接，得到拼接图像特征，将所述拼接图像与所述增强的点云特征融合，得到多模态特征融合点云；将所述多模态特征融合点云通过检测头生成三维边界框和分类评分，作为三维目标检测结果进行输出；所述检测头基于卷积层构建。

2.根据权利要求1所述的一种多模态特征对齐融合的路侧目标检测方法，其特征在于，所述第一融合图像特征，其获取方法为：

步骤S21、获取