基于隐式运动流形关键帧插值连续标记学习方法.pdfVIP

基于隐式流形的关键帧插值连续中间标记学习

11211

·A·莫,,*，,计算机科学学院，悉尼大学，澳大利亚

2

新南威尔士州2006Meta现实，加利福尼亚州伯林格姆

clmo6615@.au,{kun.hu,zhiyong.wang}@.au,clong1@

3

2

0

2

r

a

M从稀疏关键帧中生成复杂的3D是一个特别具

有性的问题，因为需要保持连续性和极高的骨骼精

7

2度。动作特征通常可以从完整的关键帧序列中准确推

导，因此，利用Transformer模型结合全局上下文已成

]图1.我们的方法（第一行）进动插值的示例，给定跳跃运

V为一种有前景的数据-驱动嵌入方法。然而，现有方法动的关键帧（蓝色显示），并与数据（第二行）进行比较。

C通常使用关键帧通过基本插值方法对中间帧进行插值作

.

s为输入，这在训练过程中会导致陷入平凡局部最小值。

c

[本文中，我们提出了一种新框架，通过基于关键帧-的通过生成更密集的关键序列，这种方法对于动画

1约束来构建潜在流形，从而考虑中间标记表示的连师来说较为繁琐，从而提高了关键帧动画制作的成本。

v续性。具体而言，我们框架包含两个阶段以识别即使在动作捕捉（MoCap）工作流程中，家们也

6潜在子空间，i.e.，关键帧编码阶段和中间标记生常常需要借助关键帧技术来消除瑕疵、施加约束，

2

9成阶段，以及随后的合成阶段，用于从流形中外推或引入动作捕捉表演者无法的特征。

4和组合数据。通过对LaFAN1和CMUMocap数

1

.据集进行的广泛实验表明，我们方法在插值精度基于学习的插值方法被提出，用于加速

3

0和与的视觉相似性方面均表现出色。关键帧动画制作流程，通过自动推导关键帧转换中的

3细节，如图1所示。已有各种机器学习方法被探索，以

2

:从高质量动作捕捉数据库中实现更感的插值解决

v

i方案，例如使用循环网络[14,15,40]或基于

X1.引言Transformer的方法[10,26,31]。利用来指

r

a导数据驱动的插值在关键帧动画工作流程中特别具有

逐关键帧是角色动画的基本原则，动画制作流

，因为感通常需要最多的关帧制作，

程通常依赖关键定义来高效构建动作[6,11,30]。在这归功于其细微的细节