即时体素化头部化身：基于神图形基元快速头部建模方法.pdfVIP

即时体素化头部化身

WojciechZielonkaTimoBolkartJustusThies马克斯·普朗

克智能系统研究所，T¨宾根，德国{wojciech.zielonka,timo.bolkart,

justus.thies}@tuebingen.mpg.de

3

2

0

2

r

a

M

3

2

]

V

C

.

s

c

[

2图1.给定一个短的单目RGB视频，我们的方法即时优化一个可变形神经辐射场，以合成逼真可动画的3D神经头部化身。该神经辐射场被嵌入

v在一个围绕3D面部模型的多分辨率网格中，该模型用于指导变形。生成的头部化身可以在新视角下观看，并以交互式帧率进行动画处理。

9

9

4摘要1.引言

2

1

.为了在增强现实或虚拟现实中实现沉浸式远程呈

1

1现，我们希望数字人类（化身）能够模仿实际参与会

2我们提出即时体素化头部化身（INSTA），这是议对象的动作和面部表情。除了动作之外，这些化身

2一种用于即时重建逼真数字化身的新方法。INSTA基

:还应反映人类的形状和外观。与使用预先录制的旧化

v于嵌入在参数化面部模型周围的神经图形基元，对动

i身不同，我们旨在即时重建对象的外观，以捕捉会议

X态神经辐射场进行建模。我们的流程在一个单目R期间的实际面貌。为此，我们提出即时体素化头部化

rGB人像视频上进行训练，该视频从不同表情和视角观

a身（IN‑STA），该方法可在数分钟内（∼10分钟）重

察目标对象。虽然最先进的方法可能需要多达数天的

建一个化身，并能够以交互式帧率进行驱动。为了便

时间来训练一个化身，但我们的方法在现代GPU硬件

于访问，我们依靠通用硬件来训练和捕捉该化身。具

上可在不到10分钟内重建出数字化身，比之前解决方

体来说，我们使用单个RGB相机来记录输入视频。使

案快几个数量级。此外，它还支持对新姿态和表情的

用类似输入数据重建人类化身的最先进方法需要相对

交互式渲染。通过利用底层参数化面部模型的几何先

较长的训练时间，大约需要一天[20]到将近一周

验，我们证明INSTA可以外推到未见过的姿态。在对

[16,60]。我们的方法基于神经图形基元[16]的动态神

多个对象进行的定量和定性研究中，INSTA在渲染质

经辐射场[38],，这些基元嵌入在参数化面部模型周围

量和训练时间方面均优于最先进的方法。项目网站：

[25],，从而实现较低的训练时间和快速的评估