基于多模态融合的弱光目标检测算法研究.pdf

摘要

随着计算机视觉技术的快速发展，目标检测在智能监控、自动驾驶、安防等领域

的应用日益广泛。然而，在弱光环境下，由于图像质量下降，传统目标检测算法的性

能往往大幅降低，难以满足实际需求。红外图像以其独特的抗干扰特性及鲜明的目标

呈现，极大地丰富了RGB图像的解读维度。近年来，学者们对结合多种模态信息进

行目标识别的研究兴趣日益高涨。尽管如此，当前多数多光谱目标检测策略倾向于选

用FasterR-CNN或者依赖锚框技术的一体化检测模型作为基石，但这些方法往往没

有充分利用两种模态的共性信息和特性信息，导致检测准确性和鲁棒性不足。此外，

现有的融合方法存在融合效率低的问题。为了解决这些问题，本文做了以下研究：

（1）一种创.新的双模态.自注意力驱动的多光谱目标探测方法。鉴于RGB和红

外图像之间存在共性信息和特性信息，传统方法往往未能充分利用这一特性。为了克

服这一限制，该文在特征融合阶段，通过引入Transformer结构，实现了跨模态特征

的有效融合。该方法利用注意力矩阵指导模型关注关键特征点，动态调整特征融合策

略，使得融合后的特征图包含跨模态关联信息。融合后的特征图对单一模态特征进行

增强和补充，从而提高检测的准确性和鲁棒性。同时引入了多尺度特征增强组件，以

强化单模态特征图的信息传递效果。与原始算法相比，新算法在KAIST数据集上将

全天.误差减少了2.94%，同时在FLIR数据集上使mAP提高了2.5%。

（2）提出一种创新的多模态目标检测算法，采用多尺度适应性融合策略，解决

传统等比例融合方法无法充分应对RGB和红外模态对光线变化敏感度不同而导致的

融合效率低下问题。通过生成单一模态特征图的注意力矢量，对每个模态的特征图进

行细致的分析，然后进行跨模态规范化，将不同模态的特征图调整到同一尺度，再重

新校准特征图，确保融合后的特征图包含了RGB图像的细节信息，又融入了红外图

像的热成像特性，实现模态自适应融合，提升多模态数据处理效果。在KAIST数据

集上的实验显示，通过构建通道注意力的轻巧模块，全天候检测错误率降低了1.17%。

综上所述，本文提出了一种基于多模态融合的弱光目标检测算法，该算法通过图

像预处理、多模态特征提取、特征融合、检测器设计和后处理等步骤实现了弱光环境

下的高精度目标检测。实验结果表明，该算法在公开数据集上取得了优异的性能表

现，具有较高的实用价值和广泛的应用前景。未来工作中，将进一步探索更高效的多

模态融合技术和目标检测算法，以提高弱光环境下目标检测的性能和实时性。

I

目录

摘要I

ABSTRACTIII

1绪论1

1.1研究背景和意义1

1.1.1研究背景1

1.1.2研究意义1

1.2国内外研究现状3

1.2.1目标检测研究现状3

1.2.2多模态目标检测研究现状4

1.3研究内容和组织结构5

1.3.1主要研究内容和科学问题5

1.3.2本文组织结构6

2相关工作7

2.1目标检测基础框架7

2.1.1R-CNN算法7

2.1.2YOLO算法9

2.2多模态目标检测算法13

2.2.1DCRL-PDN算法13

2.2.2AR-CNN算法15

2.2.3TINet算法17

2.3Transformer算法19

2.4本章小结20

3双向跨模态自注意力的多模态目标检测算法21

3.1问题描述21

3.2双向跨模态自注意力的多模态目标检测算法22

3.2.1网络结构22