实时语音驱动的虚拟说话人.pdfVIP

第十一届全国人机语音通讯学术会议第十一届全国人机语音通讯学术会议 实时语音驱动的虚拟说话人 李冰锋，谢磊，周祥增，付中华，张艳宁 (西北工业大学 计算机学院，陕西省语音与图像信息处理重点实验室，西安 710129) 摘 摘 要要：：本文实现了一个实时语音驱动的虚拟说话人面部 摘摘 要要：： Key words: visualspeechsynthesis;talkingavatar;facialanimation 动画方案。随着语音信号的输入，同步生成对应的面部动 画。这种实时语音驱动的虚拟说话人在可视电话、虚拟会 虚拟说话人技术又称面部动画、可视语音合 议、音视频聊天等即时通讯与娱乐媒体领域具有巨大的应 成，是指利用计算机生成开口说话的虚拟人物的 用潜力。由于音素是最小的可分发音单元，因此构建音素 技术[12] 。听觉和视觉是人类最主要、最便捷的2 识别器，对输入语音信号进行实时音素识别。为提高语音 种沟通交流方式，虚拟说话人结合了听视觉双模 与口型的同步效果，改进了音素识别与输出算法。考虑协 态的沟通方式，提供了自然的人机交互手段和真 同发音影响，利用动态视素生成算法，将识别得到的音素 实感体验。因此，虚拟说话人技术在电影特效、 转化为对应的面部动画参数序列。最后用参数序列驱动按 虚拟现实、游戏娱乐、可视电话、语言学习等领 [1] 照 MPEG4 面部动画标准参数化的 3D 头部模型，实现 域具有广泛的应用 。 面部动画的同步生成。主观MOS 评测结果表明：本文所 按照驱动方式(drivenmethod)来分，虚拟说话 实现的实时语音驱动虚拟说话人在的同步性和逼真度上 人可以分为动作驱动(motion driven) 、文本驱动 的MOS 评分分别达到了 3.42 和 3.50 。 (textdriven)和语音驱动(speechdriven) 。动作驱动 关键词关键词：可视语音合成： ；虚拟说话人；面部动画 方法通过相机捕捉表情，采用面部特征跟踪技术， 关键词关键词：： 中图分类号中图分类号：：TP391 提取面部特征点以驱动头部模型。文本驱动的方 中图分类号中图分类号：： 法利用文语转换(texttospeech，TTS)技术将文本 Real-time speech driven talking avatar 转换为音素序列，再映射为口型等视素信息，产 [3] 生嘴部或面部动作。吴志勇、蔡莲红等人 提出 LIBingfeng,XIELei,ZHOUXiangzeng,FUZhonghua,ZHANG