基于对抗递归网络超分辨率技术.pdfVIP

8

1PhotorealisticSuperResolution

0

2

l

112

uEduardoPérez‑Pellitero,MehdiS.M.Sajjadi,MichaelHirsch,

J

和BernhardSchölkopf12

0

21·普朗克智能系统2亚马逊研究

]

V

C

.。随着感知损失函数的出现，超分辨率领域出现了新的可能性，目前

s

c我们已经拥有了能够从低分辨率图像中成功生成接近感高分辨率图像

[的模型。然而，迄今为止，这种方法仅限于单图像超分辨率。在处理中

1应用感知损失函数仍然存在几个，主要与生成图像的时间一致性不足有

v关，即闪烁伪影。在这项工作中，我们提出了一种用于放大

0

3（upscale）的新颖对抗递归网络，该网络能够在时间上一致地生成真的

9纹理。所架构自然利用了先前帧的信息，因为其递归结构使得

7的输入不仅包括低分辨率图像，还包括网络一步骤中的输出。我们

0

.还提出了一个额外的损失函数，以进一步增强生成序列的时间一致性。我们

7的算法实验验证表明，我们的方法在感知质量方面获得了具有竞争力的样

0

8本，并且时间一致性得到了改善。

1

:

v

i

X

r

a

1介绍

卷积神经网络的进步已经彻底改变了计算机视觉，超分辨率这一热门领域也不

例外。近年来，许多物在改善高分辨率图像重建方面取得了显著进展。超

分辨率领域的一个非常有前景的新趋势是使用感知损失函数，而不是之前普遍

使用的均方误差优化。这种范式的转变使得从模糊纹理的图像到接近

感的图像质量有了飞跃性的进步。尽管单张图像超分辨率近期取得了成功，但

感知损失尚未在超分辨率领域成功应用，因为感知损失通常会引入在空间

域中不显眼但在中表现为不必要的闪烁伪影。

在本文中，我们提出了一种神经网络模型，该模型能够生成具有精细细节的清晰，同时改

进其在时间一致性方面的表现。本文的贡献包括：(1)我们提出了一种使用光流来利用帧间时间线

索的生成对抗模型，(2)我们引入了一个时间一致性损失项，以增强时间域内连续帧的一致性。

8

1PhotorealisticSuperResolution

0

2

l

112

uEduardoPérez-Pellitero,MehdiS.M.Sajjadi,MichaelHirsch,and

JBernhardSchölkopf12

0

21MaxnckInstituteforIntelligentSystems

2AmazonResearch

]

V

C.Withtheadventofperceptuallossfunctions,newpossi-bilities

.

sinsuper-resolutionhaveemerged,andwecurrentlyhavemod-elsthat

csuccessfullygeneratenear-photorealistichigh-resolutionimages