基于无监督深度学习的红外图像与可见光图像融合算法.pdfVIP

第23卷第1期南京师范大学学报(工程技术版)Vol.23No.1

2023年3月JOURNALOFNANJINGNORMALUNIVERSITY!ENGINEERINGANDTECHNOLOGYEDITION)Mar,2023

Qoi：10.3969/j.isT.1672-1292.2023.01.001

基于无监督深度学习的红外图像与

可见光图像融合算法

张宇苏1,2吴小俊▽，李辉1,2徐天阳1,2

(1.江南大学人工智能与计算机学院，江苏无锡214122)

(2.江南大学江苏省模式识别与计算智能工程实验室，江苏无锡214122)

［摘要］红外和可见光图像表征了互补的场景信息.现有的基于深度学习的融合方法大多通过独立提取网络分

别提取两个源图像特征，从而丢失了源图像之间的深度特征联系.基于此，提出了一种新的基于无监督深度学习的

红外图像与可见光图像融合算法，针对不同模态的特点采用不同的编码方式提取图像特征,利用一个模态的信息

补充另一个模态的信息,并对提取到的特征进行融合，最后根据融合特征重建融合图像.该算法可在两个模态的特

征提取路径之间建立交互,不仅可预融合梯度信息和强度信息，且能增强后续处理的信息.同时设计了损失函数，

引导模型保留可见光的细节纹理，并保持红外的强度分布.将所提算法与多种融合算法在公开数据集上进行对比

实验，结果表明，所提算法获得了良好的视觉效果，客观指标评价方面对比现有的优秀算法也有一定的提升3

［关键词］图像融合可见光图像红外图像无监督学习卷积神经网络

［中图分类号］TP391.4［文献标志码］A［文章编号］1672-1292(2023)01-0001-09

InfraredImageandVisibleImageFusionAlgorithm

BasedonUnsupervisedDeepLearning

ZhangYusu1，2,WuXiaojun1，2,LiHui1，2,XuTianyang1，2

(1.SchoolofArtificialIntelligenceandComputerScience,JiangnanUniversity,Wuxi214122,China)

(2.JiangsuProvincialEngineeringLaboratoryofPatternRecognitionandComputationalIntelligence,JiangnanUniversity,Wuxi214122,China)

Abstract:Infraredandvisibleimagesrepresenicomplementarysceneinformation.Mostoftheexistingdeeplearning-based

fusionmethodsextractthefeatureofthetwosourccimagecthroughindependentextractionnetworkc,whichleadstothelose

ofdeepfeaturerelationshipsbetweensourceimages.Tosolvethisproblem,anewinfraredandvisibleimagefusion

aloorithmbasedonunsuperviseddeepEarningisproposed.Specificaty,theproposedaleori