CN116311363B 基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测方法 （西北工业大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN116311363B(45)授权公告日2025.07.11

(21)申请号202310211000.5

(22)申请日2023.03.07

(65)同一申请的已公布的文献号申请公布号CN116311363A

(43)申请公布日2023.06.23

(73)专利权人西北工业大学

地址710072陕西省西安市友谊西路

(72)发明人张艳宁张秀伟汪进中倪涵王文娜尹翰林

(74)专利代理机构西安凯多思知识产权代理事务所(普通合伙)61290

专利代理师刘新琼

GO6V10/80(2022.01)

(56)对比文件

Li,W.et.al..MF-YOLO:Multimodal

FusionforRemoteSensingObject

DetectionBasedonYOLOv5s.202427thInternationalConferenceonComputerSupportedCooperativeWorkinDesign(CSCWD).2024,全文.

审查员伊相心

(51)Int.CI.

GO6V40/10(2022.01)

GO6V10/40(2022.01)权利要求书2页说明书8页附图3页

(54)发明名称

基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测方法

(57)摘要

CN116311363B本发明涉及一种基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测方法，设计了一种基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测模型MDFF-YOLOv5。本发明基于单阶段可见光YOLOv5目标检测模型，设计了多源特征提取模块，实现了RGB-红外图像对多尺度特征提取；受注意力机制和专家模型动态网络的启发，构建了动态网络多源特征融合模块，实现了通道级、空间级和上下文长距离联系的多源特征动态融合，提高了模型的鲁棒性。精度方面，本发明的MDFF-YOLOv5在KAIST多源行人检测数据集上全天平均对数漏检率为6.97%,检测速

CN116311363B

CN116311363B权利要求书1/2页

2

1.一种基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测方法，采用基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测模型进行处理，所述模型包括多源特征提取模块和动态网络多源特征融合模块，所述的多源特征提取模块用于提取输入网络的RGB-红外图像对的特征信息；所述的动态网络多源特征融合模块整合了压缩-激发注

意力模块、卷积块注意力模块、全局上下文注意力模块和金字塔拆分注意力模块共四种注意力机制，用于获取通道级、空间级和上下文长距离联系的多源特征信息，并使用混合专家模型动态网络架构对多源特征进行动态加权融合；其特征在于步骤如下：

步骤1:将RGB-红外图像对输入多源特征提取模块进行多阶段特征提取，得到,i∈{1,2,3,4,5}五种不同尺度的RGB-红外多源图像特征，之后将]征进行通道拼接，通过空间金字塔池化SPPF操作，获取更大感受野的]

步骤2:将多源特征提取模块提取到的RGB-红外特征和源特征融合网络进行注意力增强和动态多源特征融合，得到融合后的

步骤3:个尺度的特征图送入类似路径聚合网络的网络结构，进行自顶向下和自底向上的支路融合处理，

步骤4:使用三个参数独立的目标检测头在F征图上进行目标检测，并将三个尺度的检测结果汇合后通过非极大值抑制方法进行后处理，得到最终的RGB-红外检测结果。

2.根据权利要求1所述基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测方法，其特征在于：步骤S1中将RGB-红外图像对输入多源特征提取模块进行多阶段特征提取，是指对RGB-红外图像进行n次卷积操作和1次空间金字塔池化操作，得到多尺度的多源

特征图。

3.根据权利要求1所述基于动态网络特征融合和YOLOv5的RGB-红外多源图像目标检测