手语合成.ppt

内容 概述 手语合成的研究现状 手语合成系统的一般构成 手语合成的关键技术及难点 手语合成概述 手语合成的目的就是将自然语言文本句子自动翻译成聋人手语,并由计算机生成的虚拟人逼真地显示出来,是智能人机接口的一个重要研究课题.合成手语不仅有助于聋人使用各种信息,而且可以帮助聋人参加各项社会活动(如观看电视),具有十分重要的应用价值和社会意义. 手语合成的研究现状 国 内 国 外 国 内 主要研究者： 中科院计算所：高文，王兆其等 哈尔滨工业大学：宋益波，姚鸿勋等 北京工业大学：尹宝才 国 内 中科院计算所 高文，宋益波等： 中国手语合成系统 采用先进的传感器设备(包括6DOF传感器和数据手套)建立中国手语词库，然后应用合成技术，对于给定文本句子(可由健听人话语转换而成)，自动合成相应的人体运动数据。最后应用计算机人体动画技术，将这些运动数据应用于虚拟人，由虚拟人完成合成的手语的运动。 国 内 国 外 University of Pennsylvania : TEAM the University of East Anglia：VISICAST O‘Reilly Institute, Dublin, Ireland：Zardoz ASL Workbench 国 外 University of Pennsylvania : TEAM English-to-ASL translation system Input : use STAG(Synchronous Tree Adjoining Grammar) rules to build an ASL syntactic structure Output : a gloss notation with some additional limited information about morphological variations,facial expressions, and sentence mood attached 国 外 the University of East Anglia：VISICAST translating from English text into British Sign Language uses the CMU Link Parser to analyze an input English text uses Prolog declarative clause grammar rules to convert this linkage output into a DRS (Discourse Representation Structure) for the text A simple algorithm was used to transform the DRS into an input form appropriate for the HPSG-based generation process which followed. 国 外 O‘Reilly Institute, Dublin, Ireland：Zardoz English-to-ASL translation architecture used a set of hand-coded schemata as an interlingua for a transfer component. 国 外 ASL Workbench uses a lexical-functional grammar (LFG) for analysis of the English text to a functional structure Output:signstream 手语合成系统的一般构成 汉语文本分析模块 一般系统在读入一个汉语句子后,首先对句子进行分词处理。经系统分词处理后的词序列作为待翻译的基本节点而确定下来,如有切分歧义,则调用相应的消歧知识。 转换处理 这个部分是系统的核心部分。它将文本分析模块产生的输出码转换成手语词语内码生成。经切分后的汉语词语或词组作为待译的基本节点查词典后,即被送入系统的这一阶段进行分析与生成一体化的转换处理。 转换处理 在转换阶段用目标语言的符号标志替换源语言的词语。源语言树被转换成目标语言结构树。具体的转换方式及转换发生的位置由转换规则确定.转换规则根据源语言和目标语言的结构差别转换树结构。 合成处理与动画显示