具有视觉跟踪的中英文语音动画系统.pdf

1 具有视觉跟踪的中英文语音动画系统11 具具有有视视觉觉跟跟踪踪的的中中英英文文语语音音动动画画系系统统 吕玉生 宁波大学信息科学与工程学院，宁波 (315211) E-mail 摘 要 摘摘 要要：本文给出了一个具有视觉跟踪的中英文语音动画系统的实现过程。该文介绍了该系 统的设计过程以及所需的技术，包括可视音素、三维人头模型的制作与显示、语音与动画的 同步、动画的平滑自然的过渡、眼睛的跟踪与随机眨眼、与外部程序接口的设计等。该语音 动画系统具有人脸表情真实自然等特点，在普通PC机上能够产生高质量的语音动画。 关键词 关关键键词词：语音动画 可视语音合成 可视音素 人机交互 视觉跟踪 中图分类号： 中中图图分分类类号号：：TP391.41 1 11．引言 随着多媒体技术的迅速发展，多种媒体之间的信息融合也日益受到人们的重视。人脸和 语音是人类相互交流的两种最重要的渠道，将人脸动画技术（FacialAnimation）与语音处理 技术（SpeechProcessing）相结合、用计算机生成语音与口形同步动画的技术，称作语音动 画技术，也被称为“说话的人头”（TalkingHead）。 在人机交互等应用环境中，如果人们面对的是这样一个会说话的人物形象，则会使计算 机界面更为友好，人机之间的交流更加自然。研究表明，在环境噪声较大的情况下，如果在 [1] 给出声音信息的同时能给出一个“说话的人头”，则可使信噪比提高约8-12dB 。 本文结合了几款优秀软件的强大功能，开发出了一款支持中英文语音的人脸动画系统。 该动画系统具有表情表现自然真实等特点，并且为了方便后续程序开发的工作，我们还设计 了与外部程序交互的接口。 2 22．语音动画系统的设计与实现 如图1所示，整个系统的界面分为三个部分。左上部为三维人头的显示区域，可以对三 维人头进行旋转、缩放等操作；左下部为文本输入以及语音控制部分，可以选择男女声、调 节音量和语速等；右面部分为模型变形的控制部分，包括控制7种表情、15种调节器和16 种可视音素对应模型的变形程度，并且可以通过组合产生出各种新的表情。 1本课题得到国家科技部973重大基础前期专项(2005CCA04400)、国家自然科学基金项目的资助。 -1- 图1 系统界面 2.1 22..11三维人头模型的制作与显示 [2] 在三维人头模型的制作软件中，FaceGen 是一款非常优秀的制作参数化人头的工具软 件，操作简单，全部实时交互调节，可调节的参数达上百个，可对头部60多个区域进行调 节。调节内容包括人种、性别、年龄等。此外，还可以调节几十种表情和口型。 (a)正面人头照片 (b)合成的三维人头正面截图 图2 原图与合成图 同时，我们还可以通过提供一张正面人头照片，让FaceGen合成出非常逼真的三维人头 模型。如图2所示，我们提供一张正面人头照片，通过FaceGen，合成了一个逼真的三维人 头模型。 三维人头模型制作完成以后，就可以导出为数种流行的3D文件格式，如obj、3ds、VRML [3] 等。因为OpenInventor （以下简称OIV）可以完美支持VRML97格式，所以我们导出包 括中性和其他所有目标动画人脸