CN118470272A 几何引导的可控3d头部合成 （脸萌有限公司）.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN118470272A

(43)申请公布日2024.08.09

(21)申请号202410172834.4G06T17/10(2006.01)

G06T13/40(2011.01)

(22)申请日2024.02.07

(30)优先权数据

18/165,7942023.02.07US

(71)申请人脸萌有限公司

地址开曼群岛大开曼西湾路802号木槿道

大楼邮政信箱31119

(72)发明人徐鸿燚宋果鲜蒋子航张健锋

施亦纯刘晶马万钧冯佳时

罗琳捷

(74)专利代理机构北京市金杜律师事务所

11256

专利代理师李辉马腾

(51)Int.Cl.

G06T19/20(2011.01)

权利要求书2页说明书11页附图4页

(54)发明名称

几何引导的可控3D头部合成

(57)摘要

本公开的实施例涉及几何引导的可控3D头

部合成。本文中描述并且记载了用于产生可控合

成图像的技术，包括用于高质量3D头部合成的几

何引导的3D

GAN框架，该框架对相机位姿、面部

表情、头部形状、关节式颈部和下颌姿势进行完

全控制；以及语义SDF(有符号距离函数)公式，该

公式定义了从观察空间到规范空间的体积对应

关系，其允许与3D

GAN训练中的控制参数完全解

纠缠。

A

2

7

2

0

7

4

8

1

1

N

C

CN118470272A权利要求书1/2页

1.一种用于生成可控三维3D合成图像的方法，包括：

由3D模型生成器基于特征向量和相机视角参数通过以下方式调节规范空间中的头部

几何形状的3D表示，其中所述相机视角参数包括控制参数和相机位姿中的至少一个：

将与输入相对应的用于所述头部几何形状的所述控制参数和有符号距离函数SDF映射

到所述头部几何形状上，以产生观察空间中的点到所述规范空间中的所述头部几何形状的

3D点对点体积对应关系；

将所述头部几何形状的所述3D表示和所述观察空间中的点到所述规范空间中的所述

头部几何形状的所述3D点对点体积对应关系进行组合以产生3D对象；以及

合成所述3D对象以组合所述3D对象的特征层。

2.根据权利要求1所述的方法，还包括：

基于所述3D点对点体积对应关系对合成的所述3D对象进行体积渲染以产生体积渲染

特征图；

由超分辨率模块合成所述体积渲染特征图以产生高分辨率图像；以及

对所述高分辨率图像进行编码以产生具有与所述输入相对应的所述控制参数的可控

3D模型。

3.根据权利要求1所述的方法，还包括由鉴别器确定所述高分辨率图像是否真实。

4.根据权利要求1所述的方法，其中所述映射由经训练的多层感知器MLP执行。

5.根据权利要求1所述的方法，其中所述控制参数与FLAME利用关节模型和表情而被学

习的面部模型相对应。

6.根据权利要求1所述的方法，其中所述控制参数包括用于面部形状、面部表情、以及

下颌和颈部姿势的参数。

7.根据权利要求1所述的方法，还包括优化几何先验损失，以减少合成的神经密度场与

所述SDF之间的差异。

8.根据权利要求1所述的方法，还包括优化控制损失以在编码时控制合成图像和输入

控制码的匹配。

9.根据权利要求1所述的方法，其中所述3D对象被产生为内部特征层和