基于GAN的红外与可见光图像融合算法研究.pdf

天津师范大学硕士学位论文 摘要 图像融合是指将图像中有意义的信息从源图像中提取出来并加以组合，使其 生成的融合图像具有更大的信息量并利于后续应用。红外与可见光图像融合是图 像融合中一个重要且经常发生的问题，红外图像具有明显的对比度，能够在恶劣 天气下有效地将目标信息从背景中突出出来。可见光图像包含丰富的纹理细节， 更加符合人类视觉的感知系统。红外和可见光图像融合将这两种特征结合起来， 产生具有高对比度和丰富纹理的结果。 本文提出一种新的基于改进的生成对抗网络的融合方法对红外图像与可见 光图像进行融合。具体工作如下： （1）本文提出一种基于改进的生成对抗网络的红外与可见光图像的融合方 法。通过建立生成器与鉴别器之间的博弈对抗，使生成器生成可欺骗鉴别器的融 合图像，使鉴别器完成区分真实图像和生成器生成的假图像的分类任务。将注意 力机制模块加入生成器中，目的在于通过融合每一层网络的局部感受野内的通道 信息来构建信息特征，有助于使信息量最大的通道特征得到模型的更多关注，抑 制通道内不重要的特征，从而使网络模型的特征提取能力得到增强，弥补了一般 的网络体系结构无法充分提取图像特征的不足。 2 SSIM （）本文针对红外与可见光图像的图像特点，提出一种基于 的损失 函数作为内容损失函数的一部分，使网络在融合图像的过程中更加注重图像的亮 度、对比度和结构。同时，根据实验结果调整出最合适的融合权值，不仅充分保 留红外图像中的亮度信息，而且平衡了融合图像中亮度与梯度细节之间的差异， 从而得到最优的融合结果。 （3）利用Pytorch 平台设计了上述网络模型，该网络模型是一个端到端模 型，避免了以往的方法中人为设计活动级别测量和融合规则的复杂性，同时通过 大量实验验证了本算法的性能。利用互信息、信息熵、边缘数量指标、空间频率、 相位一致性、结构相似性及视觉信息保证度等指标对融合图像的质量进行客观质 量评价，通过主客观质量评价结果显示，本文提出的方法在红外图像和可见光图 像的融合方面具有较强的可行性与适用性。 关键词：图像融合，生成对抗网络，注意力机制，深度学习 I 天津师范大学硕士学位论文 目录 摘要I AbstractII 第一章 绪论 1 1.1 研究背景及意义 1 1.2 相关研究现状2 1.2.1 红外与可见光图像融合研究现状2 1.2.2 深度学习模型研究现状3 1.3本文的主要研究工作4 1.4 本文章节安排5 第二章 图像融合研究概述7 2.1 图像融合的目的与分类7 2.2 传统的图像融合方法9 2.2.1 基于空间域的图像融合方法9 2.2.2 基于变换域的图像融合方法9 2.2.3基于稀疏表示的图像融合方法 10 2.3 基于深度学习的图像融合方法 10 2.3.1.基于自动编码器的图像融合方法11 2.3.2 基于卷积神经网络的图像融合方法 12 2.4 图像融合质量评价指标21 2.4.1 主观质量评价21 2.4.2 客观质量评价22 2.5 本章小结25 第三章 生成对抗网络理论基础26 3.1监督学习与无监督学习26 3.1.1有监督学习26 3.1.2 半监督学习27 3.1.3 无监督学习27 3.2 生成对抗网络的理论基础28