基于源图像分解和细节优化的红外与可见光图像融合算法研究.pdfVIP

基于源图像分解和细节优化的红外与可见光图像融合算法研究 摘 要 单一的传感器只能获得单模态的场景信息，存在一定的局限性，而随着技术的不断 发展，传感器的种类越来越多，人们可以获得同一场景多个传感器拍摄的图像。图像融 合技术对多传感器拍摄的同一场景图像进行多方位、多角度融合，以减少冗余信息并获 得良好的视觉效果和丰富的细节。可见光图像包含了场景的背景信息以及纹理信息，但 在某些特定情况下，如在弱光、雾等环境条件下，目标很难在可见光图像中观测到。红 外图像则反映了目标与背景之间的强度差异，可以轻而易举地捕捉目标信息。然而，红 外传感器得到的图像缺乏细节信息。红外与可见光图像融合技术是将红外与可见光图像 中的互补信息相结合的重要技术，目前已广泛应用于目标识别、遥感、军事侦察等领域。 在红外与可见光融合领域，常用的传统方法主要包含基于多尺度分解的方法和基于 稀疏表示的方法。基于稀疏表示的方法非常耗时，而在基于多尺度分解的方法中，如何 选择灵活的基函数来分解源图像仍然是一个挑战，且多数方法得到的融合图像中存在噪 声，表现为人眼视觉感知不佳。基于深度学习的融合方法计算效率相对较高，但训练过 程较复杂且不稳定，容易丢失红外目标的亮度和可见光图像的细节信息。本文针对上述 问题进行研究，提出了新的解决方案。论文的主要创新工作如下： 1）针对基于多尺度变换分解的方法中所存在的问题，提出了一种基于双核侧窗滤 波和S 型曲线变换的红外与可见光图像融合方法。首先，设计一个具有自适应滤波核大 小的双核侧窗盒滤波器 （DSWBF ）来提取源图像的基础层和细节层。然后，对基础层 提出基于显著性的融合规则，突出红外图像的显著区域。接着，采用S 型曲线变换和引 导滤波构造细节优化模块，对红外图像的细节层进行优化。随后，对细节层进行融合， 得到融合后的细节层。最后，对得到的基础层和细节层进行重建，得到最终的融合结果。 在两个公开数据集上的实验结果表明，与现有的融合方法相比，该方法在主客观评价上 都能获得更好的融合性能。 2 ）针对传统的基于多尺度分解的方法中存在噪声的问题和基于深度学习的方法容 易丢失目标亮度或细节信息的问题，提出了一种将传统的多尺度分解与深度学习相结合 的红外与可见光图像融合方法。具体来说，首先，使用滚动导向滤波器和高斯滤波器结 合，对源图像进行分解，得到基础层和细节层。然后，在基础层方面，采用 NestFuse 网络将红外图像基础层的目标信息和可见光图像基础层的背景信息进行有效融合，得到 融合后的基础层图像。接着，在细节层方面，利用侧窗盒滤波器，对红外图像的细节层 优化，减少红外细节层中的噪声信息，再将其与可见光图像的细节层进行融合，得到融 合后的细节层图像。最终，利用融合后的基础层和细节层图像进行图像重构，得到融合 图像。实验结果表明，该方法不仅削弱了噪声对融合图像的影响，而且无论是主观还是 I 摘要 客观方面，都比仅仅使用NestFuse 网络的结果更佳。 关键词：红外与可见光图像融合；细节优化；多尺度分解；侧窗滤波；深度学习 II 基于源图像分解和细节优化的红外与可见光图像融合算法研究 目 录 1 绪论 1 1.1 选题背景及研究意义 1 1.2 国内外研究现状 1 1.2.1 基于多尺度变换分解的方法 1 1.2.2 基于稀疏表示的方法 4 1.2.3 基于深度学习的方法 4 1.2.4 其他方法 5 1.3 本文研究内容和结构安排 6 2 基于双核侧窗滤波和S 型曲线变换的红外与可见光图像融合 7 2.1 引言 7 2.2 相关理论 8 2.2.1 侧窗盒滤波 8 2.2.2 引导滤波 8 2.3