通过深度运动迁移实现任意对象动画化.pdfVIP

table{边框合并:;}table,th,td{边框:1px实线#000;}

通过深度运动迁移动画化任意对象

AliaksandrSiarohin1,StephaneLathuili´ere`1,SergeyTulyakov2,ElisaRicci1,3和

NicuSebe1,4

1意大利特伦托大学DISI，2加利福尼亚州圣莫尼卡SnapInc.

3意大利特伦托BrunoKessler（FBK），

4都柏林技术

{aliaksandr.siarohin,stephane.lathuilire,e.ricci,niculae.sebe}@unitn.it,stulyakov@

了一种用于图像动画的新颖深度学习框架。给定一张包含目标对象的输入图像

和一个展示移动对象的驱动序列，我们的框架可以生成一段，在这段中，

目标对象会根据驱动序列进行动画处理。这是通过一种将外观和运动信息解耦的深度架

构实现的。我们的框架由三个主要模块组成：(i)一个无监督训练的关键点检测器，用于

提取对象关键点；(ii)一个密集运动预测网络，用于从稀疏关键点生成密集热图，以更

好地编码运动信息；(iii)一个运动传输网络，该网络使用从输入图像中提取的运动热图

和外观信息来合成输出帧。我们在多个基准数据集上展示了我们方法的有效性，这些数

据集涵盖了各种各样的对象外观，并证明了我们的方法优于最先进的图像动画和生

成方法。我们的源代码公开可用1。

1.引言

本文介绍了一种基于运动驱动的图像动画框架，可以自动通过结合从源图像（例如描绘某

人的面部或身体轮廓）中提取的外观信息和从驱动（例如编码另一个人的面部表情或

身体动作）中提取的运动模式来生成。图1给出了几个示例。从静态图像生成高质量

的具有性，因为它需要学习对象的适当表示，例如面部或的3D模型。此任

务还需要准确地从驱动中提取运动模式，并将它们映射到对象表示上。大多数方法都

是特定于对象的，使用计算机图形学技术[7,38]。这些方法还使用显式的对象表示，

table{border-collapse:collapse;}table,th,td{border:1pxsolid#000;}

AnimatingArbitraryObjectsviaDeep

MotionTransfer

AliaksandrSiarohin1,StephaneLathuili´ere`1,SergeyTulyakov2,ElisaRicci1,3andNicu

Sebe1,4

1DISI,UniversityofTrento,Italy,2SnapInc.,SantaMonica,CA,

3FondazioneBrunoKessler(FBK),Trento,Italy,

4TechnologiesIreland,Dublin,Ireland

{aliaksandr.siarohin,stephane.lathuilire,e.ricci,niculae.sebe}@unitn.it,stulyakov@

Thispaperintroducesanoveldeeplearningframeworkforimageanimation.Givenaninput

imagewithatargetobjectandadrivingsequencedepictingamovingobject,our

frameworkgeneratesainwhichthetargetobjectisanimatedaccordingtothedriving

sequence.Thisisachievedthroughadeeparchitecturethatdecoupappearanceandmotion

information.Ourframeworkconsis