HRVGAN: 高分辨率视频生成使用时空 GAN-计算机科学-神经网络-高分辨率视频生成.pdfVIP

HRVGAN:高分辨率视频生成使用时空GAN

AbhinavSagar

UniversityofMaryland,CollegePark,Maryland

CollegePark,Maryland

asagar@umd.edu

Abstract些时间信息包含了关于物体运动、场景动力学以及不

断变化的情境的关键线索，使得对场景的理解超越了

本高分辨率视频生成已成为计算机视觉中的一个关键任单一图像所能提供的范围。

务，在娱乐、模拟和数据增强方面有着广泛的应用。然

译而，由于视频数据的高维度性和复杂动态性，生成时间尽管如此，建模视频数据仍然面临着独特的挑战，

主要由于计算复杂度增加以及需要捕捉空间和时间上

中连贯且视觉真实的视频仍然是一个重要挑战。在本文

的依赖关系。基于静态图像的方法在诸如动作识别和

3中，我们提出了一种专门用于高分辨率视频合成的新颖

v预测等任务中从根本上存在局限性，因为在这些任务中

6深度生成网络架构。我们的方法整合了Wasserstein生理解运动和时间进程是至关重要的[13]。因此，能够建

4成对抗网络（WGANs）中的关键概念，通过在网络判别

6模时间动态的视频算法已经成为一个关键的研究领域。

9器上强制执行k-Lipschitz连续性约束来稳定训练并增

0.强收敛性。我们进一步利用条件生成对抗网络（cGAN）从潜在表示生成真实的视频是深度学习中的一个

8技术，在训练和推理过程中引入类别标签，使得能够生特别具有挑战性的问题。最先进的方法往往受到模糊

0性和缺乏时间一致性的影响，突显了在帧间建模复杂

0成具有改进语义一致性的特定类别的视频。我们提供了

2生成器和判别器网络的详细分层描述，突出显示了促进像素变换的困难[30]。有效的视频生成不仅需要理解每

:

v时间连贯性和空间细节的设计选择。整体结合的架构、帧内的空间内容，还需要准确地对帧间的时序演化和

i

x训练算法和优化策略被全面呈现。我们的训练目标结不确定性进行建模[29]。

r

a合了像素级均方误差损失与对抗性损失，以平衡帧级别为了解决这些挑战，先前的研究试图分离空间和

的准确性和视频的真实性。我们在包括UCF101、Golf时间动态。空间动态捕捉对象在单个帧中的外观和结

和Aeroplane在内的基准数据集上验证了我们的方法，构，而时间动态描述它们随时间的运动和相互作用。诸

涵盖了多样的运动模式和场景背景。使用Inception得如在时间上应用的一维卷积网络[21]和生成帧合成潜

分（IS）和FréchetInceptionDistance（FID）的定量在代码的递归神经网络（RNN）[27]等方法已被探索以

评估表明，我们的模型在质量和多样性方面显著优于减少计算成本同时建模时间依赖性。然而，虽然一维卷

先前的无监督视频生成方法。积提供了效率增益，但要准确建模高质量视频合成中