基于深度学习的红外图像真彩转换算法研究.pdfVIP

基于深度学习的红外图像真彩转换算法研究

摘要

红外成像具有高鲁棒性，能够适应不同的天气和光照条件，在军事、安防和辅助驾

驶等领域有着广泛的应用前景。但是红外图像对比度较低，且缺乏色彩信息，不利于人

眼的视觉感知。因此，在保持红外成像对天气和光照宽适应优势的基础上，对红外图像

进行彩色化提升，将有助于提升人们对红外图像的感知和理解，具有重要的研究意义和

实用价值。目前的红外图像彩色化方法存在明显不足，大多基于生成对抗网络，并通过

训练多个生成器和判别器来实现无监督的红外图像真彩转换，模型较为复杂且收敛性差；

公开的红外可见光数据集较少，导致研究场景单一；当前红外图像真彩转换方法都是在

低分辨图像上进行转换，无法适用于高分辨红外图像真彩转换。针对以上问题，本文在

高质量红外可见光数据集构建、无监督红外图像真彩转换模型与方法、高分辨率图像转

换等方面开展研究，并取得了满意的效果。本文的主要工作如下：

（1）针对目前的红外数据集规模小且不适用于红外图像真彩转换任务等问题，本

文构建了一个大规模非配对的红外可见光图像数据集。通过车载红外摄像机和固定监控

设备采集了城市、高速和监控等多个场景下的红外、可见光视频，并对其进一步处理得

到红外可见光图像数据。最终构建了包含6个场景的红外可见光图像数据集，缓解了红

外图像真彩化相关研究方向数据集不足的问题。

（2）针对无监督红外图像真彩转换，通过对比学习的方法避免了使用多个生成器

和判别器，从而降低模型的复杂度。设计了基于残差注意力的主干网络，通过引入通道

和空间注意力机制使网络更加关注携带有用信息较多的特征通道和空间位置，提高模型

的性能和效率；通过残差连接增大浅层网络和深层网络之间的信息传递，促进网络的快

速收敛。设计了多尺度判别器网络，增强判别器的鉴别能力，进一步提升生成器的图像

生成水平。抛弃像素级约束，采用空间相关损失作为转换模型的结构约束，实现跨领域

外观转换的同时，有效保持场景结构的一致性。实验结果表明，本文方法在真实数据集

上取得了良好的效果，转换得到的真彩图像细节更加清晰，内容保留的更加完整。

（3）针对高分辨率红外图像真彩转换，且有些场景下难以采集大量的红外可见光

图像，本文搭建了基于预训练深度神经网络的单输入高分辨率红外图像真彩转换模型。

利用预训练模型作为外部语义先验，从中提取出结构和外观的表示。设计了聚合多尺度

切分注意力和密集连接的生成器网络，提高模型的感知和表达能力。本方法只需要一对

红外可见光图像作为模型输入，即可实现红外图像真彩化。通过实验证明，本方法可对

哈尔滨工程大学硕士学位论文

2K以上分辨率大小的红外图像进行真彩转换，并且具有良好的可扩展性。

本文充分考虑了红外图像的特点以及目前相关研究的不足，采用多种技术手段，实

现红外图像真彩化。实验结果表明：本文方法能够实现多场景下的无监督红外图像真彩

转换，有效提升真彩化图像的质量。此外，构建了一个大规模非配对的红外可见光数据

集，为基于红外图像的相关研究提供有力支持。

关键词：深度学习；红外图像真彩转换；对比学习；生成对抗网络；Transformer

基于深度学习的红外图像真彩转换算法研究

Abstract

Infraredimagingishighlyrobust,abletoadapttodifferentweatherandlightingconditions,

andhasbroadapplicationprospectsinthefieldsofmilitary,security,andassisteddriving.

However,thecontrastofinfraredimagesislowandlackscolorinformation,whichisnot

conducivetothevisualperceptionofhumaneyes.Therefore,onthebasisofmaintainingthe

advantagesofinfra