基于综合加权算法的汉语语音同步三维口型动画分析-three - dimensional mouth animation analysis of chinese speech synchronization based on comprehensive weighting algorithm.docxVIP

摘 要近年来，随着多媒体技术和人机交互技术的快速发展，人们越来越希望能够 跟计算机进行自然流畅的交流。人类面部在交流过程中传递着大部分的沟通信 息，如心情、精神状态等。因此，人脸表情动画的研究在近年的计算机动画研究 中受到了广泛的关注，而口型动画是人脸表情动画中非常关键的一部分。本文主 要工作是基于 MPEG-4 标准的面部动作编码对人脸口部区域进行提取编码，并针 对汉语发音特点进行发音口型分类，并以此基本口型分类应用综合加权算法驱动 汉语发音同步的口型动画。本论文基于 MPEG-4 标准和中文语言学理论，以 SAPI5.0 提供的文本语音合 成（TTS）引擎、OGRE 三维虚拟仿真引擎作为主要的开发工具，实现了一个基 于综合加权算法的汉语语音同步的动画系统。该系统主要由三部分组成：文本分 析系统；语音合成系统；语音与口型动画同步系统。系统的执行流程是：首先， 文本分析系统针对输入的汉语文本进行分析，将汉字拆分为不同的汉语可视化音 素，并将这些因素发送到语音合成系统合成为基本的可视化音素流；其次，基于 MPEG-4 标准建立具有真实感的参数人脸模型，使用可视化音素动画帧参数驱动 模型的形变，从而实现人脸口型动画；最后将合成的汉语语音与人脸口型动画同 步，实现较为逼真的人脸口型动画。从而有效的解决汉语语音发音与口型动画的 同步问题。由于本系统主要是针对汉语发音口型建立的动画模型，在动画驱动过程中主 要研究了人脸口部区域的动画变化，并没有考虑到整个的人脸动画的驱动，如表 情动画，舌头动画等。这将是论文进一步研究的研究点。本文提出的口型动画方案具有很广泛的应用前景，可以应用在服务行业中的 虚拟服务员、低频带的网络通讯和视频会议、电影、游戏和广告中的角色模拟等 许多领域，增强多媒体虚拟现实的真实感。另外，本研究可以很好的推动可视化 的语音动画合成的发展。关键词：发音口型 三维人脸建模 汉语语音同步 加权控制算法AbstractIn recent years, with the rapid development of multimedia technology and human-computer interaction technology, people are increasingly looking to the natural flow of communication with the computer. The human faces convey most of the communication information in the communication process, such as mood and mental state. Therefore, the study of facial expression animation in computer animation research in recent years has been widespread concern, mouth animation in a very critical part. The main work of this paper is the Facial Action Coding based on MPEG-4 standard extraction coding region of the face mouth classification for Chinese pronunciation features of pronunciation, and this basic weighting algorithm of the port type classification application-driven Chinese pronunciation synchronization mouth animation.This thesis is based on MPEG-4 standard and the Chinese linguistic theory to SAPI5.0 text to speech synthesis (TTS) engine, OGRE 3D virtual simulation engine as the main tools to achieve synchronized to the voice of a Chinese based on an integrated weighted algorithm animation system. The system consists of three parts: a text analysis system; speech s