红外可见光图像融合与质量提升关键技术研究.pdfVIP

摘要

随着计算机技术，大规模集成电路，微电子技术等科学技术的发展，传感

器已经呈现出多样化趋势。可见光传感器通过将捕捉光信号转化为电信号，产

生能真实还原出物体色彩的图像，因此直观性强、色彩丰富、且分辨率高，但

是对光照敏感、透视性差且易受遮挡。红外光传感器通过捕捉热辐射信息来生

成红外图像，因此抗干扰能力强且稳定可靠，然而与可见光图像相比，红外图

像分辨率低且清晰度差。红外和可见光图像融合技术旨在将红外和可见光图像

中的信息进行整合，生成一幅质量高、信息丰富、可靠性高、针对性强的融合

图像，对场景的描述更为准确、全面可靠，有利于人类视觉感知和图像处理。

现有大部分图像融合算法不考虑显著信息和模态特征信息，导致融合图像的目

标不显著和模态信息丢失。为进一步提升红外可见光图像融合图像质量，本文

的主要工作如下：

（1）为了能够有效地保留红外图像中的显著目标和可见光图像中丰富的空

间细节，提出了一种新的基于最小二乘法嵌入双边滤波器和显著目标检测的图

像融合方法。利用最小二乘法嵌入双边滤波器平滑纹理区域的边缘，得到图像

的双尺度表示；利用显著性以自下而上的方式吸引人类视觉注意力的优点，有

效的保留源图像的显著结构和边缘信息，提高融合图像的视觉质量。实验结果

表明，所提的方法与主流方法相比，在主观视觉评价和客观定量评价上都具有

明显优势。

（2）为了能够有效地凸显红外和可见光图像中的私有特征信息，本文提出

了一种基于特征约束网络的红外与可见光图像融合方法。通过递归门控卷积组

成编码解码网络，执行高阶空间交互，实现跨模态特征的提取，使用空间注意

和通道注意组成的融合模块，描述每个空间位置和每个具有深层特征的通道的

重要性，实现多模态信息的融合。与其他融合算法相比，所提算法更注重保留

图像的私有特征，因此具有良好的图像融合性能，在大多数情况下优于现有的

融合算法，并且在目标检测、显著目标检测、深度估计和姿态估计这几个下游

任务实验中，提出方法产生的融合结果也拥有优异的性能。

（3）图像采集：通过研究红外可见光图像的成像特点，搭建红外可见光图

像采集系统，拍摄了八个场景在5种天气的红外可见光数据集，包含不同天气

环境（晴天、阴天、多云、雨天和雾天）和不同场景（包括街道、绿地、山脉、

广场、桥梁、学校建筑、操场和森林），一共300组，其中260组用作训练数据

集，40用于测试数据集。

关键词：图像融合；可见光图像；红外图像；显著区域检测；

ABSTRACT

Withthedevelopmentofcomputertechnology,large-scaleintegratedcircuits,

microelectronicstechnologyandotherscientificandtechnologicaldevelopment,

sensorshaveshownadiversifiedtrend.

Visiblelightsensorsproduceimageswithtrue-to-lifecolorbyconvertingcaptured

lightsignalsintoelectricalsignals.Therefore,visibleimagesarestronglyintuitive,

colorful,andhigh-resolution,buttheyarelight-sensitive,poorlyperspective,andeasily

obscured.Infraredlightsensorsgenerateinfraredimagesbycapturingthermalradiation

information,sotheyarehighlyanti-interferenceandstable,however,comparedwith

visibleimages,infraredimageshavelowresolutionandpoorclarity.Infraredand

visibleimagefusiontechn