ToonifyGB: 基于 StyleGAN 的高斯混合形状用于三维风格化头部头像-计算机科学-机器学习-3D 头部重建技术.pdfVIP

ToonifyGB:基于StyleGAN的高斯混合形状用于三维风格化头部头像

111

Rui-YangJu,Sheng-YenHuang,Yi-PingHung

1GraduateInstituteofNetworkingandMultimedia,NationalTaiwanUniversity

jryjry1094791442@,.tw,hung@.tw

Abstract混合的NeRF表情变形实现了虚拟形象动画。此外，最

近提出的3D高斯散射（3DGS）(Kerbletal.2023)显

3D高斯混合形状的引入使得从单目视频中实时重建可

著提高了渲染效率，并在头部重建方面提供了高质量的

动画化的人头模型成为可能。Toonify，一种基于Style-

GAN的方法，在面部图像风格化方面得到了广泛应用。表现，在速度和质量上均优于NeRF。基于此，3D高斯

为了扩展Toonify，使用高斯混合形状合成多样化的风格表情变形（3DGB）(Maetal.2024)成功地将表情变形

本化3D人头模型，我们提出了一种高效的两阶段框架，即与高斯散射结合，实现了实时渲染并在头部重建中达到

译ToonifyGB。在第一阶段（风格化视频生成），我们采用了最先进的性能。

改进的StyleGAN从输入的视频帧中生成风格化视频，与之前专注于照片级真实感的3D头部avatar重建

中这克服了为了正常处理StyleGAN而需要预处理时将对的工作不同，我们提出了ToonifyGB，一个用于合成和

2齐的脸部裁剪到固定分辨率这一限制。这个过程提供了动画化3D风格化头部avatar的两阶段框架。给定单目

v一个更稳定的风格化视频，使高斯混合形状能够更好地

2视频帧，第一阶段采用改进的StyleGAN生成更稳定且

7捕捉视频帧中的高频细节，为下一阶段合成高质量动画抖动较少的风格化视频，无需固定分辨率和预对齐的

0提供了便利。在第二阶段（高斯混合形状合成），我们的

0方法从生成的风格化视频中学习一个风格化的中性头模人脸裁剪。在第二阶段，我们从3DGB开始学习一个

1.型和一组表情混合形状。通过将中性头模型与表情混合中性头部模型以及一组表情混合形状，每个都表示为

5形状相结合，ToonifyGB能够高效地渲染具有任意表情3D高斯分布。最后，通过结合面部追踪器(Zielonka,

0的风格化模型。我们在基准数据集上使用两种代表性风Bolkart,andThies2022)，我们使用追踪到的运动参数

5

2格：Arcane和Pixar来验证ToonifyGB的有效性。驱动ToonifyGB以动画化3D风格化头部avatar。

:

v总之，本工作的贡献如下：

i

x介绍•我们提出了ToonifyGB，一个高效的两阶段框架，该

r

a随着3D头部重建技术的发展，个人现在能够为框架使用高斯混合形状从单目视频中合成三维风格

远程呈现和虚拟/增强现实应用个性化独特的化身，化头部头像，支持多种风格并实现实时动画。

这为元宇宙的兴起奠定了基础。考虑到用户偏好和•