基于GAN的视频超分辨率研究.pdfVIP

摘要

随着计算机软硬件技术的高速发展，图像、视频处理技术也得到了巨大的

进步，而图像和视频的超分辨率问题一直是计算机视觉领域的一个热门研究问

题，在视频监控，遥感技术，军事及医学等很多领域都有广泛的应用前景。以

给定的低分辨率图像和视频为基础，采用算法来提高图像与视频的超分辨率，

获得高清的图像和视频，一方面能节省大量的带宽，另一方面为特定的应用场

景提供额外的体验和更好的细节。传统的超分辨算法一般归类到基于插值，重

建和学习三个类别。尽管近年来传统方法在该领域取得了不少成果，基本能够

快速达到超分辨率的目的，但是图像会出现模糊平滑，产生噪声等问题，从而

会导致某些感兴趣细节的缺失。与传统方法相比，最近流行的基于深度学习的

方法取得了很好的效果，能部分解决传统超分辨率所不能解决的问题，从而逐

渐在超分辨率领域扩大了深度学习的研究和应用。

在深度学习领域的超分辨问题上，现在所熟知的方法有超分辨卷积网络

(SRCNN),基于高效亚像素卷积的实时单图像和视频超分辨率(ESPCN),时空网

络和运动补偿的实时视频超分辨率(VESPCN)，对抗神经网络对单幅图像的超分

辨率(SRGAN)等算法。这些图像和视频超分辨率方法在一些数据集上取得了很

好的成果，基于深度学习的超分辨率方法确实取得了远超传统方法的性能。

本文的主要研究内容是采用GAN网络来进行超分辨率的研究。用生成网

络生成图像，而用对抗网络来判断该图像是网络生成的还是原始的，并通过学

习训练来使得网络生成的图像逐渐逼近于原始的高清图像。在采用GAN来进

行超分辨研究的第一种算法SRGAN中，将其应用于图像超分辨领域，之后又

有一些相关的研究。但目前采用GAN来做视频超分辨的研究很少，本文采用

GAN来进行视频超分辨的研究。

首先，本文利用GAN进行单幅图像的超分辨率研究。从GAN生成网络的

内部结构和损失函数等方面，优化GAN网络的设计，获得了更好的超分辨结

果。其次，提出了基于GAN的视频超分辨率算法。通过引入视频中的时序信

息和运动信息，将其与GAN网络的结构相结合，设计了基于运动对齐的GAN

视频超分辨结构，并在数据集上进行了大量的实验，结果表明，我们提出的算

法在图像和视频上均取得了较以往算法更好的结果。

关键词：图像视频超分辨；对抗生成网络；网络优化；深度学习；运动对齐

Abstract

Withtherapiddevelopmentofcomputersoftwareandhardwaretechnology,

imageandvideoprocessingtechnologyhasalsomadegreatprogress.Theproblem

ofsuper-resolutionofimagesandvideohasalwaysbeenahotresearchissueinthe

fieldofcomputervision,invideosurveillance,remotesensingtechnology,military

andmedicinefieldshaveextensiveapplicationprospects.Basedonthegiven

low-resolutionimagesandvideo,algorithmsareusedtoimprovethesuper

resolutionofimagesandvideostoobtainhigh-definitionimagesandvideos.Onthe

onehand,itcansavealotofbandwidth,andontheotherhand,itprovides

additionalexpe