基于VisionTransformer与生成式对抗网络的图像修复研究与应用.pdfVIP

成都信息工程大学硕士学位论文

基于VisionTransformer与生成式对抗网络的图像修复研

究与应用

摘要

图像修复是计算机视觉领域中的一个重要问题，其在文物保护、医学影像

处理、安防监控、影视特效等领域有广泛的应用。尽管当前图像修复技术已经

取得了一定的进展，但仍然存在一些难点，其中之一是当前大多数基于深度学

习的图像修复方法在处理大面积缺失区域时仍然是一个具有挑战性的难题，因

为大面积缺失区域对于图像的语义信息和纹理信息都具有很大的影响，难以通

过少量的局部信息进行准确的修复，本文提出基于VisionTransformer与生成

式对抗网络的二阶修复模型，将图像修复任务分为粗修复和细修复，旨在提升

图像修复效果，得到质量更高的修复图像，研究工作如下：

（1）因为局部感受野的特性，传统卷积全局信息捕捉较弱，并且传统卷

积会将图像破损区域的像素值视为有效信息，这样会导致修复后的图像存在伪

影、色差、模糊等问题。基于此，本文提出将VisionTransformer与门控卷积

生成式对抗网络相结合的模型，利用门控卷积有效过滤掉破损图像中的无效像

素，利用VisionTransformer提升模型全局感知能力，捕捉图像中的全局语义

信息和长程依赖关系，并且通过减少VisionTransformer编码器信息输入，给

模型加大推算难度，让模型更能学习到深层次的特征信息，将修复后的图像传

入判别器网络，通过对抗进一步提升修复效果。

2

（）基于粗修复阶段同样需要全局和多尺度特征信息的问题，本文提出

了一种基于多尺度注意力卷积神经网络和VisionTransformer的图像修复方法。

该方法首先使用多尺度注意力卷积神经网络对输入的破损图像进行特征提取和

特征重建，通过引入注意力机制，多尺度注意力卷积神经网络能够将更多的注

意力聚焦于破损图像的待修复区域，准确地恢复丢失的图像细节。之后，使用

VisionTransformer对修复后的图像进行高级特征提取和修正，以进一步提高图

像质量和清晰度。该方法在不同数据集上进行了实验验证，并与几种主流图像

修复方法进行了比较。实验结果表明，本文提出的方法在主观和客观评价上取

得不错的效果，具有较好的实用性和可行性。

关键词：图像修复，深度学习，VisionTransformer，门控卷积生成式对抗网

络，多尺度注意力卷积神经网络

ii

成都信息工程大学硕士学位论文

ResearchandApplicationofImageInpaintingBasedon

VisionTransformerandGenerativeAdversarialNetworks

ABSTRACT

Imageinpaintingisanimportantprobleminthefieldofcomputervision,with

extensiveapplicationsinareassuchasculturalheritagepreservation,medicalimage

processing,securitysurveillance,andvisualeffectsinthefilmindustry.Despitethe

advancementsmadeincurrentimageinpaintingtechniques,therestillexistcertain

challenges.Oneofthedifficultiesisthatmostdeeplearning-basedimageinpainting

methodsstrugglewithhandlinglarge-scalemissingregions,asitremainsa

challengingtasktoaccuratelyinpaintsuch