CN117152208B 虚拟形象的生成方法、深度学习模型的训练方法及装置 （北京百度网讯科技有限公司）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN117152208B(45)授权公告日2025.07.08

(21)申请号202311121138.2

(22)申请日2023.09.01

(65)同一申请的已公布的文献号申请公布号CN117152208A

(43)申请公布日2023.12.01

GO6T15/02(2011.01)

GO6V10/774(2022.01)

(56)对比文件

CN114119908A,2022.03.01

CN111145322A,2020.05.12

CN116392812A,2023.07.07

(73)专利权人北京百度网讯科技有限公司

地址100085北京市海淀区上地十街10号

百度大厦2层

(72)发明人杨少雄徐颖崔宪坤赵晨

审查员殷婷婷

(74)专利代理机构中科专利商标代理有限责任

公司11021专利代理师杨静

(51)Int.CI.

GO6T7/246(2017.01)

GO6T7/73(2017.01)权利要求书5页说明书13页附图8页

(54)发明名称

虚拟形象的生成方法、深度学习模型的训练方法及装置

(57)摘要

CN117152208B本公开提供了虚拟形象的生成方法、深度学习模型的训练方法及装置，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可以应用于元宇宙、数字虚拟人场景。该虚拟形象的生成方法包括：根据目标对象的初始姿态的骨骼点特征和目标对象的目标姿态的骨骼点特征，生成运动轨迹特征序列，其中，运动轨迹特征序列包括目标对象从初始姿态变换到目标姿态所需完成的多个过渡动作的骨骼点特征；对初始姿态的骨骼点特征、运动轨迹特征序列和目标姿态的骨骼点特征进行处理，生成动作特征序列，其中，动作特征序列用于驱动虚拟形象从初始姿态经过连续姿态变化

CN117152208B

根据目标对象的初始姿态的骨骼点特征和目标对

根据目标对象的初始姿态的骨骼点特征和目标对象的目标姿态的骨骼点特征，生成运动轨迹特征序列

对初始姿态的骨骼点特征、运动轨迹特征序列和目标姿态的骨骼点特征进行处理，生成动作特征序列

对动作特征序列进行渲染，生成虚拟形象

S210

S220

S230

CN117152208B权利要求书1/5页

2

1.一种虚拟形象的生成方法，包括：

根据目标对象的初始姿态的骨骼点特征和所述目标对象的目标姿态的骨骼点特征，生成运动轨迹特征序列，其中，所述运动轨迹特征序列包括所述目标对象从所述初始姿态变换到所述目标姿态所需完成的多个过渡动作的骨骼点特征；所述过渡动作的数量是由所述初始姿态的骨骼点特征与所述目标姿态的骨骼点特征之间的差异程度确定的，所述多个过渡动作的骨骼点特征是基于过渡动作的次序，按照骨骼点特征的匀速或匀加速变化生成的；以降低运动位姿融合难度；

利用深度学习模型基于注意力机制，对所述初始姿态的骨骼点特征、所述运动轨迹特征序列和所述目标姿态的骨骼点特征进行运动位姿融合处理，生成动作特征序列，其中，所述动作特征序列用于驱动虚拟形象从所述初始姿态经过连续姿态变化得到所述目标姿态；其中，所述深度学习模型是通过对完整的连续姿态变化序列进行局部掩码，利用目标损失函数进行训练得到的；其中，所述目标损失函数包括基于样本旋转角度特征序列和预测旋转角度特征序列构建的第一损失函数和基于样本位置特征序列和预测位置特征序列构建的第二损失函数；以及

对所述动作特征序列进行渲染，生成所述虚拟形象。

2.根据权利要求1所述的方法，其中，所述根据目标对象的初始姿态的骨骼点特征和所述目标对象的目标姿态的骨骼点特征，生成运动轨迹特征序列，包括：

根据所述初始姿态的骨骼点特征和所述目标姿态的骨骼点特征，得到所述过渡动作的数量；以及

基于所述过渡动作的数量，对所述初始姿态的骨骼点特征和所述目标姿态的骨骼点特征进行处理，得到所述运动轨迹特征序列。

3.根据权利要求2所述的方法，其中，所述根据所述初始姿态的骨骼点特征和所述目标姿态的骨骼点特征，得到所述过渡动作的数量，包括：

根据所述初始姿态的骨骼点特征，得到所述目标对象在所述初始姿态的