CN118365767A 文本到3d虚拟形象 （脸萌有限公司）.pdfVIP

(19)国家知识产权局

(12)发明专利申请

(10)申请公布号CN118365767A

(43)申请公布日2024.07.19

(21)申请号202311833558.3G06N3/0475(2023.01)

G06N3/094(2023.01)

(22)申请日2023.12.28

(30)优先权数据

18/155,4002023.01.17US

(71)申请人脸萌有限公司

地址开曼群岛大开曼西湾路802号木槿道

大楼邮政信箱31119

(72)发明人智天成R·杜达特刘晶

罗琳捷

(74)专利代理机构北京市金杜律师事务所

11256

专利代理师吴岩琨

(51)Int.Cl.

G06T15/02(2011.01)

A63F13/52(2014.01)

权利要求书2页说明书10页附图4页

(54)发明名称

文本到3D虚拟形象

(57)摘要

本公开实施例涉及文本到3D虚拟形象。本发

明涉及可以通过下述方式产生三维(3D)虚拟形

象，即：基于输入到稳定扩散模型的用户输入文

本提示对图像数据集进行风格化，并且使用输出

的经风格化的图像数据集来训练高效的几何感

知3D生成对抗网络(EG3D)模型。

A

7

6

7

5

6

3

8

1

1

N

C

CN118365767A权利要求书1/2页

1.一种用于产生模型来生成三维3D虚拟形象的方法，所述方法包括：

基于输入到稳定扩散模型的用户输入文本提示来对图像数据集进行风格化；以及

由高效的几何感知3D生成对抗网络EG3D模型基于经风格化的图像数据集来产生3D虚

拟形象。

2.根据权利要求1所述的方法，其中所述用户输入文本提示列出针对所述3D虚拟形象

的说明性样式。

3.根据权利要求2所述的方法，其中经风格化的图像中的相应图像的姿态与经风格化

的所述图像数据集一起被输入到所述EG3D模型以用于所述EG3D模型的训练。

4.根据权利要求3所述的方法，其中所述姿态作为对应于所述经风格化的图像中的相

应图像的元数据而被提供。

5.根据权利要求4所述的方法，其中所述姿态包括沿着x、y及z轴的欧拉角。

6.根据权利要求3所述的方法，其中所述EG3D模型以所述用户输入文本提示中列出的

所述说明性样式来生成对应于所述经风格化的图像中的相应图像的所述3D虚拟形象。

7.根据权利要求3所述的方法，其中，所述EG3D模型生成具有对应于所述姿态的俯仰

角、偏航角和横滚角的所述3D虚拟形象，所述姿态针对所述风格化的图像中的相应图像被

提供。

8.一种用于向应用用户提供三维3D虚拟形象的选择的方法，所述方法包括：

向稳定扩散模型提供从所述应用用户的账户接收的文本提示；

向所述稳定扩散模型输入图像数据集；

由所述稳定扩散模型基于所述文本提示对所述图像数据集进行风格化；

利用经风格化的图像数据集来训练高效的几何感知3D生成对抗网络EG3D模型；以及

从所述EGWD输出3D虚拟形象以供所述应用用户选择。

9.根据权利要求8所述的方法，其中所述文本提示包括针对所述3D虚拟形象的期望样

式。

10.根据权利要求8所述的方法，其中所述经风格化的图像数据集中的图像分别包括姿

态信息。

11.根据权利要求10所述的方法，其中所述姿态信息作为元数据被包括，并且包括沿着

x、y