可见光辅助红外目标检测系统设计与实现.pdfVIP

摘要

摘要

红外成像技术利用物体热辐射进行成像，不受光照条件的限制，使其在全天

候监控和军事侦察等领域中展现出巨大的应用潜力。然而仅红外成像的方法虽易

于部署，但缺乏可见光细节纹理信息可能会导致检测性能下降。多光谱融合检测

方法通过将可见光图像和红外图像同时输入进行训练和推理，并选择在不同的阶

段融合两个模态的信息，实现了两个模态的信息互补。但此类方法需要时间和空

间高度同步的两类传感器，部署困难成本高。

本文基于模态幻觉架构思想解决上述问题，在仅使用红外传感器的部署条件

下也能利用可见光信息辅助检测。由于在训练阶段需要使用配对可见光和红外数

据集，而当前公开无人机配对小目标数据集十分稀缺，因此本文首先研究如何使

用现有可见光图像转化为红外图像，实现数据样本扩充。接着探索了基于领域自

适应的可见光辅助红外目标检测算法，旨在提高红外弱小目标检测模型的综合性

能。最后设计并实现了可见光辅助红外目标检测系统，集成本文算法模型，便于

研究者直观了解与使用。主要工作及创新点如下：

（1）基于条件生成对抗网络的红外图像生成算法研究。在Pix2pix的基础架构

上，通过引入残差网络和通道空间注意力机制提高生成器的特征提取能力，并在

判别器中应用梯度归一化技术，以此改善模型在训练时存在不稳定、梯度消失的

现象。

（2）基于可见光辅助的红外弱小目标检测算法研究。受模态幻觉架构思想启

发，本文通过幻觉网络学习红外特征到可见光特征的映射，这使得模型在推理阶

段可摆脱成对图像的束缚，既方便部署又很好的利用了可见光信息。本文还设计

了融合模块HRIF以融合两个模态的信息。除此之外，为改进模型对小目标的检测

效果，本文对基础识别网络YOLOv5做了许多改进，包括引入注意力机制、使用

Transformer编码块替代部分卷积块、增加小尺度检测头、设计了多尺度特征融合

模块DC-AFF等。

（3）设计实现了可见光辅助红外目标检测系统。旨在帮助科研人员更加便捷

的使用本文提出的数据增强模型和可见光辅助红外目标检测模型，系统实现了对

上述模型的训练、检测、可视化展示、指标对比等功能。

关键词：红外目标检测，可见光辅助红外，红外图像生成

I

ABSTRACT

ABSTRACT

Infraredimagingtechnology,whichutilizesthermalradiationfromobjectstoform

images,isnotlimitedbylightingconditions.Thisfeatureendowsitwithsignificant

potentialforapplicationsinall-weathermonitoringandmilitaryreconnaissance.

However,whileinfraredimagingaloneiseasytodeploy,thelackofvisiblelightdetail

andtextureinformationcanresultindecreaseddetectionperformance.Multispectral

fusiondetectionmethodsaddressthisissuebytrainingandinferringwithbothvisible

lightandinfraredimages,fusinginformationfrombothmodalitiesatdifferentstagesto

achievecomplementaryinformation.Nevertheless,suchmethodsrequirehighly

synchronizedsensorsintermsoftimeandspace,makingdeploymentdifficultand

costly.

Thisthesisaddressestheaforementionedissuesbyemployingamodality

hallu