嵌入式手语合成技术-欢迎来到智能计算研究室！.doc

嵌入式手语合成技术 立项依据 目的和意义 研究出一种可以用于电视、手机上的支持多种语言的手语合成系统。系统可以把电视和手机中以声音和文字形式承载的语言信息转换成手语信息，并通过数字化的虚拟人表示出来。该技术可以让成千上万的聋哑人和正常人一样看电视，使用手机，享受现代化数字技术为人类带来的便捷。手语合成系统是智能人机接口的一个重要研究课题.合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动(如观看电视),具有十分重要的应用价值和社会意义 国内外概况 国内主要研究者有：中科院计算所的高文教授、王兆其教授等研制的“中国手语合成系统”，该系统采用先进的传感器设备(包括6DOF传感器和数据手套)建立中国手语词库，然后应用合成技术，对于给定文本句子(可由健听人话语转换而成)，自动合成相应的人体运动数据。最后应用计算机人体动画技术，将这些运动数据应用于虚拟人，由虚拟人完成合成的手语的运动。其他研究者有哈尔滨工业大学宋益波，姚鸿勋等和北京工业大学尹宝才教授。 国外主要研究者有： 美国宾夕法尼亚大学（University of Pennsylvania）的把英语翻译成美国手语的TEAM系统， 输入 Input : use STAG(Synchronous Tree Adjoining Grammar) rules to build an ASL syntactic structure Output : a gloss notation with some additional limited information about morphological variations,facial expressions, and sentence mood attached； University of East Anglia的VISICAST系统，translating from English text into British Sign Language uses the CMU Link Parser to analyze an input English text； uses Prolog declarative clause grammar rules to convert this linkage output into a DRS (Discourse Representation Structure) for the text A simple algorithm was used to transform the DRS into an input form appropriate for the HPSG-based generation process which followed. 爱尔兰都柏林学院的（O‘Reilly Institute, Dublin, Ireland）Zardoz English-to-ASL translation architecture used a set of hand-coded schemata as an interlingua for a transfer component ASL Workbench。 uses a lexical-functional grammar (LFG) for analysis of the English text to a functional structure Output:signstream 市场预测和发展趋势 研究开发内容、方法、技术路线 具体研究开发内容和要重点解决的技术关键问题 快速手语库构建算法 高效手语库压缩算法 虚拟人动作平滑与拟合算法 书面语言到手语的机器自动翻译 大词表特定人连续语音识别技术 难点： 机器翻译 汉语和汉语手语存在着很大的区别 语言表达形态 基本词汇 句子结构 Non-manual signals建立有难度 当前翻译的常用方法： 基于转换的方法 基于中间语言的方法 直接的方法 手势库的建立 两种方法： 手工编辑 数据量大，编辑的数据比较准确 运动跟踪（数据手套） 方便，形象自然，但容易受噪声的干扰 两者结合的方法 三维人体的显示 虚拟人模型的表示 手势之间的平滑过渡 虚拟人的姿态控制 虚拟人的non-manual signal（除去手势的所有姿态）的显示 项目特色和创新之处 要达到的技术、经济指标及社会、经济效益 采取的方法、技术路线以及工艺流程 系统有三部分组成（如图所示）： a、汉语文本分析模块 一般系统在读入一个汉语句子后,首先对句子进行分词处理。经系统分词处理后的词序列作为待翻译的基本节点而确定下来,如有切分歧义,则调用相应的消歧知识。 B、转