基于文本驱动人脸表情动画系统.docVIP

基于文本驱动人脸表情动画系统摘要：人脸表情动画是计算机图形学的重要研究领域之一，在影视和游戏中的虚拟人的应用促进了它的发展，它主要研究若干种典型表情的产生以及利用已有表情产生中间过渡表情。本文主要介绍了表情动画的研究现状，并且设计实现了基于文本驱动的人脸表情变化系统。 关键词：表情；文本驱动；人脸动画 中图分类号：TP391.4 文献标识码：A 文章编号：1007-9599 （2012） 15-0000-02 1 人脸动画的研究背景 随着信息技术的高速发展，人们己不满足于过去的人机交互方式，寻求高度人性化的、对人友好的人机交互技术并将其实用化的呼声越来越高。人与人的信息交流是多种信息同时传递的过程，因此，多模态的交互方式是一种发展趋势。人们交谈时，不但会倾听对方的声音，还通过观察对方的面部活动（诸如嘴唇运动和面部表情等），来更加准确、全面地掌握对方所传递的信息，并据此来辅助获得对方的心理活动、情绪变化等潜在的信息。 正由于人脸在信息传递中的重要作用，人们从古至今一直在探求各种表达人脸的方法。随着计算机技术和先进设备的发展，人们开始利用信息技术对人脸进行数字化建模，并开始关注于合成富有真实感的人脸。随着信息化的日益加快和人脸语音动画技术的不断发展，语音同步的人脸动画在视听觉信息处理、医学辅助系统、教学辅助系统、感知学实验研究、多媒体和数字娱乐等领域表现出越来越大的潜在应用价值[1]。类似于应用在听觉障碍患者的听觉辅助系统，辅助其完成语音识别过程；应用于发声障碍患者的发声训练，通过虚拟口腔的发音动作帮助矫正发声；应用于心理学或者感知学方面；应用于游戏或者电影中的虚拟角色等等。 2 系统功能分析 2.1 TTS中相关事件的解释 TTS 引擎通过 Events结构来把事件信息传递给应用程序。应用程序可以调用ISpEventSource：：SetInterest 来设置感兴趣的事件。这个函数也可以通过ISpVoice来调用，因为它是继承ISpEventSource的。程序还可以调用ISpEventSource：：GetEvents来获得事件的详细信息。 以下是与TTS引擎相关的事件，它是SPEVENTENUM的子集。 typedef enum SPEVENTENUM { //--- TTS engine SPEI_START_INPUT_STREAM = 1， SPEI_END_INPUT_STREAM = 2， SPEI_VOICE_CHANGE = 3， // LPARAM_IS_TOKEN SPEI_TTS_BOOKMARK = 4， // LPARAM_IS_STRING SPEI_WORD_BOUNDARY = 5， SPEI_PHONEME = 6， SPEI_SENTENCE_BOUNDARY = 7， SPEI_VISEME = 8， SPEI_TTS_AUDIO_LEVEL = 9 } SPEVENTENUM； SPEVENT结构包含了不同的事件各种信息。应用程序可以根据不同的事件类型来分析这些信息。结构体中，ulStreamNum是对应于ISpVoice：：Speak 或者 ISpVoice：：SpeakStream 的返回值。 SPEI_START_INPUT_STREAM ：当输出对象开始从一个某个流中获取输出内容时发生此事件，eEventId域等于SPEI_START_INPUT_STREAM，其他的域无意义。 SPEI_END_INPUT_STREAM：当输出对象从某个流中取得最后的输出内容时，发生此事件。其它域无意义。 SPEI_VOICE_CHANGE：当输入的文本或流被XML标签改变其相关属性时发生此事件；每次调用Speak函数时也会发生此事件。 SPEI_TTS_BOOKMARK：表示获得一个书签标签事件。可以在输入的文本中插入书签指令. SPEI_WORD_BOUNDARY： 当到达一个新单词时发生，即表明一个新单词开始 SPEI_PHONEME：一个音素的边界 SPEI_SENTENCE_BOUNDARY：一个新句子的边界。 SPEI_VISEME：表示到达了一个新的嘴形。（每个单词的发音都需要不同的嘴形配合）。 SPEI_TTS_AUDIO_LEVEL：表示音频到达了一个指定的合成量级。 2.2 人脸技术的三角剖分 （1）三角剖分：假设V是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段，E为e的集合。那么该点集V的一个三角剖分T=（V，E）是一个平面图G，该平面图满足条件： 1）除了端点，平面图中的边不包含点集中的任何点。 2）没有相交