X-Actor：基于音频的长期情感表达肖像表演.pdfVIP

X-Actor：基于音频的长期情感表达肖像表演

ChenxuZhang,ZenanLi,HongyiXu,YouXie,Xiaochen

Zhao,TianpeiGu,GuoxianSong,XinChen,Chao

Liang,JianwenJiang,LinjieLuo

BytedanceIntelligentCreation

USA

本ReferenceAgnosticGenerationHighlyEmotionallyExpressive

译

中

1

vAccurateLip-SyncStableGenerationwithLong-RangeContext

4

4

9

2

0

.

8

0[u:][ɑ:][i:]51020

5

2

:

v

i

x

r

a[f][b][ʃ][o:]40123

图1:我们提出了X-Actor，一个基于音频条件的自回归扩散框架，用于生成情感丰富、高度动态且栩栩如生的

肖像表演，同时保持精确的长形式口型同步和一致的情感-音频对齐。

摘要解耦生成流水线：一个基于音频条件自回归扩散模型，

在长时间窗口内预测表达性但不依赖身份的脸部动作

我们提出了X-Actor，一个新颖的音频驱动肖像动画框

潜变量，随后是一个基于扩散的视频合成模块，将这

架，该框架可以从单个参考图像和输入音频片段生成

些动作转换成高保真的视频动画。通过在一个与视觉

逼真、情感丰富的说话头像视频。与以往在受限演讲

和身份线索分离的紧凑脸部动作潜空间中操作，我们

场景中强调唇部同步和短距离视觉保真的方法不同，

的自回归扩散模型有效地捕捉了音频和脸部动态之间

X-Actor允许演员级别的长篇幅肖像表演——捕捉细

的长距离相关性，并通过一个强制扩散训练范式实现

微且动态变化的情感，这些情感能流畅地随着语音的

了无限长度的情感丰富动作预测而不会出现误差累积。

节奏和内容发展。我们的方法的核心是一个两阶段的

ChenxuZhangetal.

广泛的实验表明，X-Actor生产出令人信服且具有电影运动潜变量紧凑且语义结构化以捕捉细腻的动态变化，

风格的表现效果，超越了标准的说话头像动画，并在同时抽象出外观和身份。与在像素潜在空间中操作的

长范围、音频驱动的情感肖像表演方面达到了最先进方法不同，我们的自回归模型专注于从大规模、可变

的结果。请参见https://byteaigc.github.io/X-Actor/获长度的说话序列