基于移动终端的中国手语合成系统-计算机科学与技术专业论文.docxVIP

Classified Index: TP391.3 U.D.C: 621.3 Dissertation for the Master Degree of Engineering CHINESE SIGN LANGUAGE SYNTHESIS SYSTEM ON MOBILE DEVICE Candidate: Dan Song Supervisor: Prof. Xuan Wang Academic Degree Applied for: Master of Engineering Speciality: Computer Science Technology Affiliation: Shenzhen Graduate School Date of Defence: December，2011 Degree-Conferring-Institution: Harbin Institute of Technology 摘 要 摘 要 中国手语合成系统旨在为聋人教育，聋健间的无障碍交流创造环境与基础，它 利用人工智能，计算机图形学等技术，实现用三维虚拟角色演示用户指定的中国 手语。系统的成功研发，为聋人创造无障碍环境发挥起到了重要作用，对推广规 范的中国手语有重大作用，获得了来自残联、教育部、聋协的各界专家的高度评 价。系统适用于各种服务行业和公共场所，可给聋人朋友的学习和生活带来极大 便利，应用前景广阔。 在追求人机和谐的今天，基于三维虚拟人合成技术的中国手语合成系统有助于 聋人群体使用电视、网络、电话、计算机、电影等高科技产品，提高他们的生活 质量；有助于手语的标准化，扩大标准手语的使用范围，从而扩大聋人群体的社 会交流；有助于改善聋人受教育的环境，通过合成系统可以向聋哑人提供一种无 障碍的自主学习方式，为他们增加受教育的机会，提高他们参与社会竞争的能力。 通过可视化的虚拟人手语动作及相关文字信息的结合，提高广大听力语言残疾人 的教育水平和生活质量，直接影响 2800 万听力语言残疾人平等交流和获取信息的 权益，也关系着我国聋哑人教育质量的进一步提高。 本文的主要研究内容如下： 虚拟人建模：分析人体模型的几何表示方法、人体结构及人体上肢运动特征。 针对两个系统的不同特性，选择了基于 VRML97 标准中的 H-Anim 模型模型规范， 建立了基于层次结构的虚拟人模型。 手语运动数据采集及静态编辑：本文分别采用 5DT DataGlove 以及 EVaRT 进 行运动数据采集，数据内容主要包含手部和手臂两部分运动数据，并针对虚拟人 使用的数据类型做相应格式的转换。由于运动设备采集的数据存在数据冗余、动 作偏差等问题，需要对手语词的各个关键帧进行修正编辑。 手语词优化及手语合成：本文提出了手语词关键帧的优化策略，并对词库中的 手语词做减帧处理。同时针对不同自由度的关节采用不同的插值算法，在两个关 键帧间计算获取若干等时间间隔的帧序列，将获得的帧序列的数据赋值给虚拟人 进行手语运动合成，还原手语动作。 分布式结构及中文分词功能：本文实现了基于 C/S 结构的分布式客户端，充分 利用移动互联网的资源，弥补客户端存储能力不足的缺点，同时适用于目前移动 终端 APP 发展的特性。系统中提供了简单的分词功能模块供手语合成时使用。分 词模块采用简单的最大正向匹配算法实现分词，采用北大人民日报语料库。 I 哈尔滨工业大学工学硕士学位论文 关键词：中国手语合成；移动终端；手语词库；VRML II PAGE PAGE VI Abstract Abstract Chinese sign language synthesis system is designed for deaf education to create a barrier-free communication environment between the deaf and the healthy. It realized displaying the specific Chinese sign language animation by avatar using artificial intelligence, computer graphics etc. techonology. The successful complementation of Chinese sign languge synthesis on mobile devices plays a significant role of creating barrier-free communication and the promotion of standardized sign language in