基于多尺度特征的可见光与红外图像融合算法研究.pdf

基于多尺度特征的可见光与红外图像融合算法研究

摘要

图像融合技术旨在综合不同来源图像中的互补信息，以生成一幅信息更为丰富的

融合图像来全面地描述复杂场景。可见光图像因其丰富的纹理信息和较高的清晰度，

能够直观地反映场景细节，与人类视觉感知高度契合，但其易受天气环境的影响。而

红外图像主要捕捉物体的热辐射信息，即便在光线不足的环境中，也可以揭示隐藏的

目标，但其在描述场景纹理细节方面表现不佳，难以满足人类视觉的直观需求。因此，

通过图像融合技术将两者优势相结合，有助于提升人类理解和分析复杂场景的能力。

针对现有算法往往忽略了源图像的多尺度特性，导致融合图像中存在噪声、伪影和细

节信息缺失等问题，提出了两种基于多尺度特征的可见光与红外图像融合算法，以进

一步提升图像融合效果。本文的主要研究内容如下：

（1）针对以往的多尺度分解算法中常采用加权平均法和系数绝对值最大法，融合

的图像容易产生噪声，包含的源图像信息较少等问题，提出了基于视觉显著性与多尺

度分解的可见光与红外图像融合算法。首先引入引导滤波对频率调谐显著性检测算法

进行改进，并计算源图像各自的显著图，然后利用非下采样剪切波变换对源图像多尺

度分解得到可见光与红外图像不同尺度和方向上的图像子带；在低频子带融合中提出

了视觉显著性引导和局部区域能量相结合的融合策略，高频子带融合则引入参数自适

应的脉冲耦合神经网络结合改进拉普拉斯能量和的算法。实验结果表明，该方法在主

观感知和客观指标评价上达到了良好的效果。

（2）传统的图像融合方法涉及大量的手工设计，整个过程计算复杂度高，效率相

对较低。随着人工智能技术在融合领域的广泛应用，基于深度学习的融合方法可以自

动学习并提取源图像中的特征信息，不需要繁琐的手工设计，从而简化了图像融合的

流程。尽管卷积网络通过增加层数能够显著增强其特征提取能力，但随之而来的却是

网络复杂度的急剧增加。为了克服这一问题，提高融合图像的性能，本文提出了基于

注意力与多尺度残差网络的可见光与红外图像融合算法。该网络包括四个关键模块：

编码器、注意力机制、融合策略和解码器。针对卷积网络在特征提取过程中未能充分

利用图像局部范围依赖关系的问题，引入了局部注意力模块，通过深入挖掘特征局部

范围内的相互关系，从而强化了特征的局部特性，有效减少了融合后图像细节信息的

丢失。

（3）针对传统加权平均或逐元素相加融合方式的局限性，提出了一种基于多尺度

哈尔滨工程大学专业学位硕士学位论文

残差的融合模块，通过融合可见光与红外图像中的多尺度特征，增强了融合特征中的

细节信息和显著性信息，有效缓解了网络层数增加导致的特征信息丢失问题。在网络

训练过程中，采用分阶段训练策略并设计了一种新的损失函数。首先在第一阶段，训

练一个具备特征提取、局部特征增强和特征重建能力的自动编解码器。在第二个融合

阶段，利用预训练好的编码器来提取可见光与红外图像特征，然后将这些特征分别由

多尺度残差网络进行特征融合。最后，对融合的特征进行解码，重构出高质量的融合

图像。经过深入实验，验证了本文所提算法的有效性。实验结果表明，该方法在主观

感知和客观指标方面都取得了良好的成效。

关键词：可见光图像；红外图像；图像融合；多尺度分解；多尺度残差网络

基于多尺度特征的可见光与红外图像融合算法研究

Abstract

Imagefusiontechnologyaimstointegratecomplementaryinformationfromimagesofthe

differentsourcestogenerateamoreinformativefusionimagethatcomprehensivelydescribes

complexscenes.Visibleimages,duetotheirrichtextureinformationandhighclarity,can

intuitivelyreflectscenedetailsandarehighlycompatiblewithhumanvisualperception,but