教师风格化教学手势生成模型研究.pdfVIP

摘要

近年来，人工智能生成内容技术引起了广大研究者们的研究兴趣，其中的跨

模态语音驱动手势生成问题成为热点研究之一，推动了虚拟数字人在各领域的广

泛应用。在教育领域中，基于语音驱动手势生成的虚拟教师将为教育的智能化、

个性化发展提供一种新的思路和解决方案。因此语音驱动手势生成的研究具有重

要意义。

目前语音驱动手势生成的研究已经取得大量的研究成果，但主要集中于通用

手势生成，对教师教学手势的生成研究较少。教学手势受教师的教学风格影响，

与教师的年龄、性别、学科背景等属性皆相关。为了生成教师个性化风格的教学

手势，本文基于构建的教学语音手势数据集特点，主要探讨如何将教师的不同属

性作为条件引导扩散模型生成教学手势。为此，本文展开了以下工作：

（1）提出一种基于扩散模型的语音驱动教师教学手势生成模型。该模型基

于预训练的变分自编码器模型对手势动作进行编码，捕获手势动作序列的时空特

征，并设计跨模态融合模块融合语音特征和手势特征；基于扩散模型，采用自适

应层归一化方法将学科与教师身份属性引入扩散模型中去噪网络的不同层，引导

模型生成教师个性化风格的教学手势。

（2）提出一种教学风格引导的教学手势生成模型。该模型通过风格嵌入模

块将学科与教师身份属性映射到连续低维潜在风格空间，生成风格向量以表示教

师个性化特征；基于扩散模型构建时序手势生成模块用于捕获手势序列中的时间

依赖关系，并在去噪过程中融合教师风格信息，从而生成与具有特定教师风格的

教学手势。

（3）为验证所提方法的有效性，本文在公共数据集和团队所构建的教学语

音手势姿态数据集上进行了对比实验。实验结果表明，本文模型生成手势的质量

和多样性要优于现有的方法，特别是在个性化风格的表达方面，能够更好地适应

不同教师的个性特征和教学场景，展现出较强的应用潜力。

关键词：语音驱动手势生成；虚拟教师；教师属性；教师个性化风格手势

I

Abstract

Inrecentyears,artificialintelligence-generatedcontenttechnologyhasgarnered

significantresearchinterest,withcross-modalspeech-drivengesturegeneration

emergingasahottopic,drivingthewidespreadapplicationofvirtualdigitalhumans

acrossvariousfields.Intheeducationaldomain,virtualteachersbasedonspeech-

drivengesturegenerationofferanovelapproachandsolutionfortheintelligentand

personalizeddevelopmentofeducation.Therefore,researchonspeech-drivengesture

generationholdsgreatsignificance.

Currentresearchonspeech-drivengesturegenerationhasachievedsubstantial

results,butitprimarilyfocusesongeneralgesturegeneration,withlimitedexploration

intoteacherinstructionalgesturegeneration.Instructionalgesturesareinfluencedby

teachersteachingstylesandarerelatedtoattributessuchasage,gender,andsubject

background.Togeneratepersonalizedteachinggestures