基于GAN的红外视频彩色化算法研究.pdf

基于GAN的红外视频彩色化算法研究

摘要

红外成像技术凭借独特的热成像原理，拥有在夜间或者极端环境中捕获肉眼和可见

光探测器无法捕捉的图像的能力。但是其形成的灰度图像与人眼的视觉感知习惯不符，

缺乏许多细节和纹理信息，难以直接地解读和分析。在实际应用中，红外域到可见光域

的视频无监督转换在众多领域具有更广泛的应用价值。针对目前存在的用以实现红外视

频彩色化深度神经网络存在的结构复杂、效果不稳定、视频帧间闪烁、生成器生成速度

慢等缺点，本文提出了一种新的基于生成对抗网络（GAN）的红外视频彩色化算法。本

文主要工作如下：

（一）对生成对抗网络模型中的生成器和鉴别器网络结构进行了改进，提高了视频

帧彩色化效果。在原有模型的生成器中引入自注意力层，用来捕捉输入数据中的全局信

息，更好地理解输入数据之间的依赖关系，有助于生成器合成视觉真实性更高的彩色图

像。利用多尺度鉴别器改进原有的鉴别网络结构，分别对不同大小的图像块进行鉴别，

提高鉴别网络的鉴别准确率。通过消融实验和对比实验，验证了改进后的生成器结构和

鉴别器结构的有效性。

（二）引入了对比学习的思想，保证生成样本与原始样本语义信息的一致性。通过

采用最大化输入图像与目标域图像中对应图像块之间相互信息的方法，使模型专注于图

像的内容，而非外部表现。与使用主流的循环一致性方法带来的严格的双向映射相比，

本文方法降低了无监督模型结构的复杂度并且使生成图像效果更稳定。

（三）给出了解决视频帧间闪烁的视频帧间差一致性方法。在不同的特征空间中对

输入视频帧和生成视频帧之间的帧间差异进行限制，运用时间一致性损失函数的约束，

训练生成器生成具有帧间一致的视频帧。通过对比分析中的主观分析验证了添加帧间差

一致性方法能够使红外视频彩色化的结果更加流畅。

（四）对GAN压缩框架进行改进。本文对训练好的GAN模型进行压缩并且对现

有GAN压缩的方法进行改进，在蒸馏网络中引入通道注意力机制并且在教师生成器生

成的图像与学生生成器生成的图像之间加入感知损失。通过压缩对比实验验证了改进的

GAN压缩框架能够提升模型的生成速度并兼顾彩色化的视觉效果。

关键词：生成对抗网络；红外视频彩色化；对比学习；时间一致性

基于GAN的红外视频彩色化算法研究

Abstract

Theinfraredimagingtechnologyhastheabilitytocaptureimagesthatarenotdetectable

bythenakedeyeorvisiblelightdetectorsinlowlightorextremeenvironmentsbasedonits

uniquethermalimagingprinciple.However,thegrayscaleimagesgeneratedbyinfrared

imagingdonotalignwithhumanvisualperceptionhabits,lackingmanydetailsandtexture

information,makingthemdifficulttointerpretandanalyzedirectly.Inpracticalapplications,

theunsupervisedconversionfromtheinfrareddomaintothevisiblelightdomaininvideohas

awiderrangeofapplicationvalueinvariousfields.Inviewoftheexistingshortcomingsof

thedeepneuralnetworksusedtoachieveinfraredvideocolorization,suchascomplex

structures,unstableeffects,in