基于模态转换的红外图像与可见光图像配准方法研究.pdfVIP

基于模态转换的红外图像与可见光图像配准方法研究

摘要

图像配准技术是图像处理领域的关键技术，而红外图像和可见光图像的配准更是其

中的重点与难点。红外光与可见光处于不同的波段，二者图像属于不同模态的图像，而

不同模态的图像之间很难进行特征匹配，从而导致现有方法的配准精度较低。针对上述

问题，本文提出了一种基于模态转换的红外图像与可见光图像配准方法，能够在完成图

像配准的同时有效提高图像配准的精度。

本文首先提出了一种基于生成对抗网络的模态转换方法。在对比非配对图像转换网

络（CUT）的基础上，优化设计了一种多尺度注意力U网结构来代替原有的鉴别网络，

其中一个鉴别器输入一个完整的生成图像来对细节纹理进行学习，另外一个鉴别器将下

采样后的生成图像作为输入，负责对于整体图像的把握，以此提升模态转换后的图像质

量。此外根据CUT的对比损失提出了一种空间相关损失用于约束模态转换网络。对模

态转换的效果进行了实验和分析，发现单对图像之间进行模态转换很难取得满意的转换

效果，生成的图像会产生很大的扭曲，而存在数据集的图像对进行模态转换则能够取得

较好的转换效果，生成的图像与原始的可见光图像在颜色、轮廓和外观上基本一致。通

过选择一些经典的算法对模态转换前后图像的特征匹配结果进行分析，证明了经过模态

转换后，算法可以获取更多匹配的特征点对数量与正确匹配的特征点对数量，并且正确

匹配的特征点对数量最低从8增长到11，最高从6增长到111，数量明显提升。实验证

明了本文模态转换方法能够有效降低特征匹配的难度，对于多模态图像配准工作有着重

要的意义。

结合模态转换的方法，本文提出了一种基于模态转换的红外图像与可见光图像配准

方法。根据本文实际工程应用的数据集，对配准网络进行参数优化与重新训练。将原始

红外图像经过模态转换网络得到的生成可见光图像与原始可见光图像输送到配准网络

中，从而输出对应的匹配关系。随后计算出相应的单应性矩阵，并将这个单应性矩阵应

用到原始红外图像上完成配准。结合相关指标与经典配准算法进行对比实验，本文方法

正确匹配的特征点对数量最低为76，最高为97，本文方法的配准精度最低为91.11%，

最高为96.23%，并且本文方法在正确匹配的特征点对数量上和配准精度上都优于各种

对比方法，最终验证了本文配准方法具有更好的配准性能，能够严格完成红外图像与可

见光图像的配准工作。

最后针对图像融合这一具体的图像配准应用，实验证明了未配准的图像直接融合会

哈尔滨工程大学专业学位硕士学位论文

产生重影，融合效果较差，而经过严格的配准后则能取得良好的融合效果，并验证了本

文提出的配准方法对于图像融合起到了积极的作用。

关键词：红外图像；可见光图像；模态转换；特征匹配；图像配准

基于模态转换的红外图像与可见光图像配准方法研究

ABSTRACT

Imageregistrationtechnologyisthekeytechnologyinthefieldofimageprocessing,and

theregistrationofinfraredimageandvisibleimageisthekeyanddifficultpoint.Infraredand

visiblelightareindifferentbands,andtheirimagesbelongtodifferentmodalimages.However,

itisdifficulttomatchfeaturesbetweenimagesofdifferentmodal,whichleadstothelow

registrationaccuracyofexistingmethods.Inordertosolvetheaboveproblems,thisthesis

proposesaninfraredimageandvisibleimageregistrationmet