报告人应玉龙.pptVIP

报告人：应玉龙 目录 一、引言 引言 研究背景 内蒙古大学承担了国家863计划课题《汉蒙机器翻译系统》，其中最重要的一个辅助工具就是基于双语词典的汉蒙词对齐系统。 设计中没有更多地考虑汉语和蒙古语各自的语言学特征以及它们之间的区别，系统的召回率在32％－35％之间。 为提高汉蒙词对齐系统的性能，内蒙古大学与智能所合作，在系统中引入了多方面的语言学知识和其他外部信息。其中，较有代表性的改进是新增加了一个汉蒙数词对齐模块。 引言 必要性 通过对38000句对汉蒙生活用语语料进行统计得到： 汉语文本中数词在所有词形中所占的比例约为2.91％， （忽略汉语分词错误造成的误差）。 蒙古语文本中数词的比例约为2.34％。 考虑到今后建立其他领域的语料库，如财经证券或科学文献领域，数词的比重会更加突出。 二、问题分析 问题分析 在整个汉蒙词对齐任务中，数词的对齐是一个比较特殊的环节，因为： 数词在语言的词汇系统中是一个开放集合，无法在词表中对其进行穷尽，适用于其他词类的“词典词对齐”方法无法满足数词对齐的需要。 在真实文本中，数词有多种表现形式，不仅会以汉字或者蒙古文字母拼写的形式出现，还会以阿拉伯数字或者二者混合的形式出现。如，汉语的序数词“第三”，也可记做“第3”。对于蒙古语而言，还会有阿拉伯数字与构形词缀混合出现的可能。如，上面例子的相应蒙古语形式可以是3DVGAR（DVGAR是蒙古语序数词构形词缀）。 汉语和蒙古语的数词在相应的互译句对中不一定总是以相同的形式出现。 问题分析 由于基于双语词典的相似度计算方法无法解决上面所述的情况，会导致数词对齐的失败；对汉蒙数词的对齐采取了特殊策略。 其基本思想是，将汉蒙文本中的数词统一转换为阿拉伯数字，并通过这一“中介”实现汉蒙数词的对齐。 三、解决方案 解决方案 总体框架 汉蒙词对齐程序中，数词的转换由两个模块完成：汉语数词到阿拉伯数字的转换模块，蒙古语数词到阿拉伯数字的转换模块。 主程序将汉蒙文本中的数词送入这两个模块，分别转换为阿拉伯数字，通过计算两个阿拉伯数字的相似度，最终实现汉蒙数词的对齐。 汉语数词到阿拉伯数字 汉语数词到阿拉伯数字 汉语基数词表 根据表中的标志位信息计算数词内部的关系（如，相加或相乘的关系），再通过多重循环判断，实现到阿拉伯数字的转换。标志位信息，用以标明基本数词是否为“10”的倍数，若为“10”的倍数，标志位为“2”，否则标志位为“1” 。“零”作特殊处理，其标志位也记作“2”。 汉语数词到阿拉伯数字 整数词的转换（小于一万的） （1）加载基数词表中的信息，从左边第一个基本数词开始读起； （2）if该汉语基本数词的标志位为“2”，则直接将与该基本数词对应的阿拉伯数字加到要输出的结果中； （3）else继续向右读下一个基数词，其标志位必然为“2”，则将前后两个基本数词分别对应的阿拉伯数字相乘，得到的值加到结果中； （4）再向右读下一个基本数字，转到（2），依此类推直至转换结束。 汉语数词到阿拉伯数字 整数词的转换（大于一万的） 对于大于“一万”的词（包含“亿”或者“万”的大整数词），以“亿”或者“万”这两个基本数词为界限，将其前后的整数词部分分别调用上面描述的较小的整数转换模块进行转换，对应的转换结果再分别乘以“100,000,000”或者“10,000”，而后加到总的转换结果中即可。 汉语数词到阿拉伯数字 浮点数的转换 （1）先根据基本数词串中是否含有汉字“点”来判断是否为浮点数词。 （2）确定其为浮点数词后，“点”之前的基本数词串调用整数转换模块进行转换，得到整数转换结果； （3）“点”之后的基本数词之间不存在“相乘”或者“相加”的关系，标志位均为“1”（“零”除外），因此依据基数词表各自转换，转换结果依次合并为阿拉伯数字串，得到小数转换结果。 （4）最后，在整数转换结果后加上符号“.”，再接小数转换结果作为输出。 汉语数词到阿拉伯数字 分数词的转换 分数词的基本形式为“…分之…”。很显然，“分之”前后的基本数词串均为整 数词，因此，可以通过调用整数转换模块分别进行转换。 “分之”后的整数词转换成阿拉伯数字串，为“分子”；“分之”前的整数词转换 成阿拉伯数字串，即为“分母”；用“/”代替“分之” ，以“分子∕分母” 形式输出。 若以“百分之…”开头，则调用整数转换模块将其后的基本数词串转换成阿拉 伯数字串，为“分子”，并用符号“%”代替“百分之” ，以“分子%”形式输出。 汉语数词到阿拉伯数字 序数词的转换 序数词的基本形式为“第…”，“第”后的数词