情感可控的个性化完整三维虚拟形象表情动画生成.pdfVIP

第41卷第2期信号处理Vol.41No.2

2025年2月JournalofSignalProcessingFeb.2025

文章编号：1003-0530（2025）02-0382-17

情感可控的个性化完整三维虚拟形象

表情动画生成

李俊沂庞德龙蔡明旭周圣喻余旻婧*

（天津大学智能与计算学部，天津300350）

摘要：语音驱动的三维虚拟形象情感表情动画，旨在合成与输入语音具有同步嘴唇动作和面部表情的三维人脸

动画。然而，现有方法受限于三维人脸先验，在合成具有口腔内部结构的三维人脸动画方面存在一定的局限性，导

致最终生成结果缺乏真实感。此外，现有多数方法往往重点关注虚拟形象唇部动作与语音的同步，而较少关注语

音情感变化对面部表情的影响，使得生成的表情动画不够自然，真实感受到限制，影响了用户体验。针对以上问

题，本文提出了一种情感可控的个性化完整三维虚拟形象表情动画生成方法，以生成具有完整口腔结构和丰富情

感表情的人脸动画，提高三维虚拟形象的真实感。该方法由三个核心模块组成：具有完整口腔结构的中性表情动

画生成模块、表情检索模块和表情融合模块。具有完整口腔结构的中性表情动画生成模块首先通过基于

Transformer的自回归模型实现语音到三维人脸动画序列的跨模态映射，输出中性人脸动画序列，并通过交叉监督

的训练图，引入了文本驱动的一致性损失，确保了输入语音与嘴唇区域的同步性。接着，本文在该模块中提出并应

用了一种基于人脸关键点的口腔结构三维模型形变算法，依次将生成的口腔模型与对应的中性人脸动画序列进行

融合，输出包含口腔结构的中性表情模型序列。表情检索模块根据输入的语音序列和人脸图片进行情感识别和检

索，获取带有情感的三维人脸模型。表情融合模块通过深度神经网络将包含口腔结构的中性表情动画与带有情感

的三维人脸模型融合，生成具有口腔结构与情感表情的三维人脸表情动画。此外，本文还提出了一种基于线性插

值的表情过渡算法实现了表情动画在多种情绪间的平滑过渡。现有实验表明，本文生成的包含口腔结构且具有情

感表情的三维人脸动画均能在保持唇部动作与语音同步的同时，有效提高三维虚拟形象的真实感。

关键词：语音驱动；情绪驱动；三维虚拟形象；面部表情动画

中图分类号：TP391.41文献标识码：ADOI：10.12466/xhcl.2025.02.016

引用格式：李俊沂,庞德龙,蔡明旭,等.情感可控的个性化完整三维虚拟形象表情动画生成[J].信号处理,2025,41

(2):382-398.DOI:10.12466/xhcl.2025.02.016.

Referenceformat:LIJunyi,PANGDelong,CAIMingxu,etal.Emotion-controlledpersonalizedandcomplete3Dava‐

tarexpressionanimationgeneration[J].JournalofSignalProcessing,2025,41(2):382-398.DOI:10.12466/xhcl.2025.

02.016.

Emotion-ControlledPersonalizedandComplete3DAvatarExpression

AnimationGeneration

LIJunyiPANGDelongCAIMingxuZHOUShengyuYUMinjing*