融合音频内容、风格和情感特征的人脸动画生成方法.pdfVIP

第４２卷第２期计算机应用研究Ｖｏｌ４２Ｎｏ２

２０２５年２月ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＦｅｂ．２０２５

融合音频内容、风格和情感特征的

人脸动画生成方法

ａ，ｂ，ｃａ，ｂ，ｃａ，ｂ，ｃ

张欣茹，朱欣娟，高全力

（西安工程大学ａ．计算机科学学院；ｂ．陕西省服装设计智能化重点实验室；ｃ．新型网络智能信息服务国家地

方联合工程研究中心，西安７１００４８）

摘要：现有的音频驱动人脸动画技术主要注重唇部运动与音频的同步性，忽略了对人物面部表情或头部运动

的再现能力。为此，提出了一种融合音频内容、风格和情感特征的高质量人脸动画生成方法（ＡＣＳＥＦ）。首先，设

计了情感动画模块（ＥＡＭ），从音频中提取隐含的情感辅助特征来估计更加准确的面部情感标志位移，然后与语

音内容和说话者风格动画的面部地标位移进行融合，提高ｌａｎｄｍａｒｋｓ（面部地标）预测的准确性和生动性。其次，

设计了一个基于ＵＮｅｔ模型的注意力增强解码器（ＡＡＤＵ），使得估计的地标与图像最终解码为逼真的包含唇音

同步、头部运动和面部表情的理想视频帧。实验表明，该方法既能增强面部情感表达，又可使图像更加清晰，效

果优于对比基线模型。

关键词：音频驱动；人脸动画；情感动画模块；注意力增强解码器

中图分类号：ＴＰ３９１．４１文献标志码：Ａ文章编号：１００１３６９５（２０２５）０２０４４０６３６０５

ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０２４．０４．０１６８

Ｆａｃｉａｌａｎｉｍａｔｉｏｎｇｅｎｅｒａｔｉｏｎｍｅｔｈｏｄｉｎｔｅｇｒａｔｉｎｇａｕｄｉｏｃｏｎｔｅｎｔ，

ｓｔｙｌｅ，ａｎｄｅｍｏｔｉｏｎａｌｆｅａｔｕｒｅｓ

ａ，ｂ，ｃａ，ｂ，ｃａ，ｂ，ｃ

ＺｈａｎｇＸｉｎｒｕ，ＺｈｕＸｉｎｊｕａｎ，ＧａｏＱｕａｎｌｉ

（ａ．ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ｂ．ＳｈａａｎｘｉＫｅｙＬａｂｏｒａｔｏｒｙｏｆＣｌｏｔｈｉｎｇＩｎｔｅｌｌｉｇｅｎｃｅ，ｃ．ＳｔａｔｅＰｒｏｖｉｎｃｅＪｏｉｎｔＥｎｇｉｎｅｅｒｉｎｇ＆ＲｅｓｅａｒｃｈＣｅｎｔｅｒｏｆ

ＡｄｖａｎｃｅｄＮｅｔｗｏｒｋｉｎｇ＆ＩｎｔｅｌｌｉｇｅｎｔＩｎｆｏｒｍａｔｉｏｎＳｅｒｖｉｃｅｓ，Ｘｉ’ａｎＰｏｌｙｔｅｃｈｎｉｃＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００４８，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ：Ｅｘｉｓｔｉｎｇａｕｄｉｏｄｒｉｖｅｎｆａｃｉａｌａｎｉｍａｔｉｏｎｔｅｃｈｎｉｑｕｅｓｐｒｉｍａｒｉｌｙｆｏｃｕｓｏｎｓｙｎｃｈｒｏｎｉｚｉｎｇｌｉｐｍｏｖｅｍｅｎｔｓｗｉｔｈａｕｄｉｏ，ｗｈｉｌｅ

ｎｅｇｌｅｃｔｉｎｇｔｈｅｃａｐａｂｉｌｉｔｙｔｏｒｅｐｒｏｄｕｃｅｆａｃｉａｌｅｘｐｒｅｓｓｉｏｎｓｏｒｈｅａｄｍｏｖｅｍｅｎｔｓｏｆｔｈｅｃｈａｒａｃｔｅｒｓ．Ｔｈｅｒｅｆｏｒｅ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａ

ｈｉｇｈｑｕａｌｉｔｙｆａｃｉａｌａｎｉｍａｔｉｏｎｇｅｎｅｒａｔｉｏｎｍｅｔｈｏｄｔｈａｔｉｎｔｅｇｒａｔｅｄａｕｄｉｏｃｏｎｔｅｎｔ，ｓｔｙｌｅ，ａｎｄｅｍｏｔｉｏｎａｌｆｅａｔｕｒｅｓ（ＡＣＳＥＦ）．Ｆｉｒｓｔｌｙ，

ｔｈｉｓｍｅｔｈｏｄｄｅｓｉｇｎｅｄａｎｅｍｏｔｉｏｎａｌａｎｉｍａｔｉｏｎｍｏｄｕｌｅ（ＥＡＭ）ｔｏｅｘｔｒａｃｔｉｍｐｌｉｃｉｔｅｍｏｔｉｏｎａｌｆｅａｔｕｒｅｓｆｒｏｍｔｈｅａｕｄｉｏｔｏｅｓｔｉｍａｔｅ

ｍｏｒｅａｃｃｕｒａｔｅｆａｃｉａｌｅｍｏｔｉｏｎａｌｌａｎｄｍａｒｋｄｉｓｐ