发音的3d可视化研究控制科学与工程专业论文.docxVIP

University University of Science and Technology of China A d issertation for doctor’S deg ree Research on 3 D ViS Ua¨Zation of Speech Author’S Name：Li Rui Speciality： Control Science and Engineering Supervisor：Prof．Wang Zengfu Finished time： May,20 1 6 万方数据 中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 作者签名： 监 了明确的说明。 签字日期： 如)、，．r．心 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中 国学位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定。 导导师签名：I睦!竺堑梦-、吐以殛 签字日期： 独2垫!』：!』： 签字日期： 沙Ib，s、媾 万方数据 摘要摘要 摘要 摘要 人际语言交流是一个多模态信息处理过程。除了承载语义信息的语音以外， 人的面部表情和肢体动作也对语言的理解和交流起到一定的作用。认知心理学 的实验结果表明，相比于单一的听觉输入，来自听觉、视觉的多模态信息对于 语音的理解具有很大的作用。特别值得一提的是，对于有听力障碍的人而言， 有效的唇读和对说话者面部表情和肢体语言的把握可以帮助他们准确地推断、 理解说话者的意图。此外，对于语言学习者而言，了解发音时唇部、上下颚以 及舌头等发音器官的运动状况等信息，对于提高语言的学习效果具有指导意义。 本研究以发音的3D可视化为研究主线，以人机语音交互为研究背景，从 理论、方法和系统三个层面探讨发音器官的3D可视化问题，重点研究相关的 发音器官建模、运动模拟和发音的准确性评估等问题。希望通过研究，构建一 个可以产生同步语音动画的可视化三维虚拟人头及其口腔系统。选题对于发音 的3D可视化、语言教学乃至人机交互都将起到积极的推进作用，具有重要的 理论意义和潜在的应用前景。 论文的主要研究内容和创新点如下： 1．针对口腔内发音器官非完全可见或完全非可见的情况，从发音器官可视 化的角度出发，研究了口腔内发音器官的建模和运动模拟问题。首先采用医学 影像技术获取这些发音器官的形状数据，然后通过对矢状位与横断位多层切面 的核磁共振图像(Magnetic Resonance Imaging，MRI)进行预处理和形状网格化 操作获得其三维静态表观模型，并根据发音器官是否可形变的特点，给出相应 的运动模拟方法。具体言之，对于牙齿、硬腭以及下颚这些在发音过程中仅产 生微小形变，甚至不产生形变的发音器官，将其看作刚体并进行运动模拟；而 对于舌头、软腭这些在发音过程中产生大量形变的发音器官，则引入弹簧网模 型来模拟其形变效果，并利用采集的Electromagnetic Articulography(EMA)数 据来驱动和控制其运动。最终，通过实验实现了汉语发音的发音器官运动模拟。 2．针对发音器官在运动模拟过程中可能出现的相互穿越问题，提出了一种 可有效应用于口腔内可形变发音器官的碰撞检测和处理的方法。根据需要将可 形变发音器官产生的碰撞细分为可形变发音器官与非可形变发音器官之间产生 的碰撞以及可形变发音器官与可形变发音器官之间产生的碰撞。碰撞检测和响 应过程如下所示。首先通过计算当前发音器官表面网格上的点与其余发音器官 表面网格上的点的交点来判断碰撞是否发生，并在碰撞发生时计算碰撞发生的 位置。然后，对碰撞进行处理。为了避免由于运动模拟而导致的发音器官之间 可能出现的相互穿越现象，给出了一种快速的碰撞响应方法，有效解决了发音 万方数据 摘要器官之间可能出现的相互穿越问题。所进行的舌头和嘴唇的碰撞实验验证了上 摘要 器官之间可能出现的相互穿越问题。所进行的舌头和嘴唇的碰撞实验验证了上 述方法的有效性。 3．发音器官运动准确性评估是3D发音可视化研究的难点。本文从主、客 观两个方面对运动模拟结果进行了全面而细致