日语学习软件中假名驱动口型动画技术的研究.docVIP

日语学习软件中假名驱动口型动画技术的研究 　　[摘 要] 本研究根据日语发音的特点，采集发音口型特征点，利用样条曲线绘制口型动画，提出了在日语学习软件系统中实现口型动画的可行方案。该方案可以根据学习者学习需要，对任意指定的单词、句子和假名，在屏幕上输出连贯的发音口型动画。 　　[关键词] 日语学习； 口型动画技术； 假名驱动 　　[中图分类号] G434 [文献标识码] A 　　[作者简介] 刘小丹（1957―），男，吉林蛟河人。教授，硕士生导师，主要从事图像处理和计算机图形学研究。E-mail: xdliu@lnnu.edu.cn。 　　一、问题的提出 　　随着计算机科学与网络技术的发展，基于计算机平台的外语学习软件也越来越多样化。日语在我国作为学习人数位列第二位的外语，网上出现了大量关于日语学习的多媒体教学软件。《标准日本语》、《日语五十音速成一日通》、《学日语背单词真人语音版》等都是面向初学者学习日语的软件，融合了视频教学与真人发音，并为用户提供手写练笔、单词查询、测试以及句型学习等功能。在这些软件中，虽然侧重点各不相同，表现形式多样，但普遍没有引入发音口型动画。尽管如《标准日本语》等一些日语教材通过录制真人视频的方式，为学习者提供直观发音口型和即时模仿机会，但由于这种软件中的视频都是通过事先录制形成的，软件系统无法根据用户学习需求自动生成合适的发音口型，缺乏适应性和灵活度，从而影响学习效果。例如，如果学习者需要一句话的发音，而这句话的视频在软件系统中并没有事先录制，这时既使是录制了每个假名的独立发音和一些子句的发音，系统也无法提供这句话的连贯发音口型，学习者只能根据每个假名的口型自己猜想这句话的发音口型了。本研究根据日语发音的特点，通过采集发音口型特征点的方式，利用样条曲线技术绘制出口型动画，形成了一种日语假名驱动口型动画的方法。该方法在日语学习软件系统中能灵活地根据学习者的指定，对任意句子、短语、单词等语法单位显示其连贯的发音口型动画，从而使学习软件的发音训练功能更加有效。 　　二、实现方案 　　通过假名驱动形成口型动画，在技术上涉及嘴唇建模、假名静态视位的建立、假名驱动、口型特征点的选取与绘制以及视位动态调整等多个环节。这些环节之间的关系如图1所示，下面将分别介绍。 　　 1.嘴唇建模方式 　　 嘴唇模型的建立涉及到嘴唇及其周围的骨骼、肌肉和皮肤的建模。人们在逐渐对嘴唇肌肉及其运动方式了解的情况下，将真实的嘴唇抽象为计算机建立的虚拟模型。嘴唇建模的方法主要分为肌肉模型、参数模型、几何模型和特征模型等。肌肉模型是通过建立人脸各肌肉的形变物理力学模型之间的关系来模拟人脸运动的规律。1981年Platt创造出了基于物理肌肉控制的人脸模型，[1]通过对肌肉施加力来对皮肤网格进行控制和变形，进而得到人脸的面部表情。参数模型的方法则将人脸用一组坐标值来表示，其中特征点由预定义的函数获得，其他非特征点的坐标利用插值函数获得。1974年Parke创造了人脸参数模型，[2][3]之后，又提出了改进的人脸参数模型。几何模型的方法是将表情基线性组合成表情，从而使对人脸的表情变化的计算量减少。Jenkins等人利用几何模型中的Blendshape插值法从照片获取口型基，然后合成二维口型模型，再通过在二维口型上加入系数，应用到三维空间来融合三维关键形态，最后形成三维口型动画。特征模型的方法是从真实的照片中提取嘴唇的特征点，根据不同的角度对相同的特征点坐标进行提取，然后计算在三维空间中这些特征点的坐标位置，最后插值重构出一个嘴唇的模型。绪方信等人[4]基于这种方法合成了声音驱动的三维口型，让实验者朗读假名并拍成照片，不同假名之间的过渡利用插值来完成。 　　以上提到的口型建模方法各有其优缺点。肌肉模型可以较逼真地模拟脸部的运动，但运算量相对较大。参数模型虽不需要考虑口型肌肉的复杂生理结构，但需要对大量的样本数据进行学习来建立口型参数。几何模型较前两种方法计算量相对小，但真实度不够。特征模型则需要采集大量照片信息，手工工作量较大，而且对计算机的处理速度有着比较高的要求。笔者考虑本文绘制的口型是针对日语学习，对嘴唇生理上的逼真度要求并不高，但对口型发音的逼真度要求较高，因此采用特征模型的方式通过真人发音取特征点来绘制二维口型比较合适。这样做的优点是可以用少量的特征点来表现口型，计算量小，缺点是口型的逼真度略差一些。 　　2．假名静态视位的建立 　　MPEG-4是由国际标准化组织的运动图像专家组开发的，是一种关于运动图像的定义标准。MPEG-4中对视位的定义是：Viseme is the physical（Visual） Configuration of the Mouth, Tongue and Jaw That is