可见光与红外图像融合和目标检测多任务学习研究.pdfVIP

摘要

可见光-红外图像融合在多个领域中具有重要的应用价值，如低空遥感、自动

驾驶、灾害监测、交通监控等。可见光图像具有丰富的纹理细节信息，但容易受

到环境的影响；红外图像具有显著的前景目标信息，但缺乏背景细节。图像融合

任务很好的解决了单一模态图像信息量的局限性。图像融合除了为人眼视觉观察

服务外，其另一个重要作用就是为下游高级视觉任务提供融合图像。本文以目标

检测作为图像融合的应用任务，对可见光-红外图像融合和目标检测中的关键技术

进行了研究。

首先，对可见光-红外图像融合的基础理论和主流方法进行了研究，分析了传

统方法和各类深度学习方法的特点和局限。为构建自己的网络模型奠定了理论基

础。

然后，针对可见光图像和红外图像的成像原理和特点进行了分析。探讨了图

像融合和目标检测任务之间的关系，并重点分析了图像融合与目标检测两个任务

之间可能存在的冲突。

接着，对常见的特征融合方法进行了对比和研究。从理论分析和实验对照两

个角度，对通道堆叠、逐元素相加、通道注意力、空间注意力四种常见的特征融

合方法进行比较。选定了通道注意力机制作为本文的特征融合方法。

最后，在上述研究的基础上，本文提出了一种名为PDF-Net的新型多任务学

习网络，用于并行目标检测和图像融合任务。PDF-Net与其它串联应用任务的图

像融合网络相比，在网络结构上具有一个硬共享的基于通道注意力的多模态特征

融合模块。能够让检测和融合任务可以相互学习特征融合规则，从而令两个任务

的性能都得到改善。为了应对两个任务中潜在的冲突，进一步提高两个任务的性

能表现，本文设计了一个跨尺度跳跃连接结构，以克服检测和融合任务之间特征

需求的不平衡。此外，本文还提出了一种自适应任务损失函数加权方法，以缓解

训练过程中融合和检测任务参数优化冲突的问题。在M3FD数据集上的实验结果

表明，PDF-Net在目标检测精度和图像融合质量上均优于其它面向任务的图像融

合方法。

关键词：可见光-红外图像、图像融合、目标检测、多任务学习

ABSTRACT

Visibleandinfraredimagefusionhassignificantapplicationvalueinmultiple

fields,suchaslow-altituderemotesensing,autonomousdriving,disastermonitoring,

andtrafficsurveillance.Visibleimagescontainrichtexturedetailsbutaresusceptibleto

environmentalinfluences,whileinfraredimagesprovideprominentforegroundobject

informationbutlackbackgrounddetails.Imagefusioneffectivelyaddressesthe

limitationsofinformationcontentinsingle-modalimages.Besidesservinghuman

visualobservation,anothercriticalroleofimagefusionisprovidingfusedimagesfor

downstreamadvancedvisualtasks.Thisthesisexploresthecriticaltechnologiesof

visibleandinfraredimagefusioninthecontextofobjectdetection.

Theresearchinitiallyfocusesoninvestigatingthefundamentaltheoriesand

mainstream