基于模板匹配的面向奥运的信息发布系统-自然语言处理.DOC

面向奥运的汉英RBMT与EBMT研究 蒋宏飞 蒋宏飞，男，1982年生，在读硕士研究生，主要研究方向是机器翻译。 蒋宏飞，男，1982年生，在读硕士研究生，主要研究方向是机器翻译。 （哈尔滨工业大学计算机科学与技术学院，哈尔滨 150001） 摘要：介绍了采用基于实例的方法和基于规则的方法在面向奥运的汉英机器翻译系统的最新进展。揭示了二者不同的翻译处理过程和翻译知识学习机制。通过2003年和2005年两次863汉英测试的结果比较了二者的性能差别。采用4元Bleu指标作为评分标准，在2005年863评测中RBMT系统的篇章类得分为0.1056，对话类得分为0.1714；EBMT系统的篇章类得分为0.0718，对话类得分为0.1454。 关键词： 机器翻译、规则、实例 Olympics Oriented RBMT vs EBMT Jiang Hongfei Yang Muyun Zhao Tiejun (School of Computer Science and Technology, Harbin Institute of Technology Harbin 150001) Abstract: This paper presents the latest progress in example-based method and rule-based method for Olympic oriented Chinese-English machine translation. It further describes the detailed translation knowledge modeling and translation operation. Experiments on the 863 test-set in 2003 and 2005 reveal their performance differences. Using BLEU as a metric, the RBMT system achieves 0.1056 in the essay category and 0.1714 in the dialogue category while the EBMT system gets 0.0718 and 0.1454 respectively. Keywords: machine translation, rule, example 1 语言资源和工具 哈尔滨工业大学机器智能与翻译研究室分别采用基于规则和基于实例的方法开发了汉英机器翻译系统。在这两个系统开发中均采用了以下语言资源和语言分析工具： 汉英翻译词典：共有88,373个词条，提供了汉语词性、名词的简单语义信息、英语译文等信息。该词典提供汉语分词时所需的词表，并提供汉英翻译所需的译文。其中汉语词性符号共计53个，其中10用于汉语标点符号。 汉语分词-词性标注工具：主要技术采用了HMM，并在处理过程中采用了多步处理技术，细节详见文献[1]。 名实体识别：系统中没有独立的名实体识别模块。但是在分词过程中针对人名、地名和外国译名进行了未登录词识别，详细细节但见文献[2]。对于时间、机构短语则留给句法分析模块识别。 汉语句法分析：该工具采用基于头驱动的PCFG模型，训练语料为本单位开发的2万句汉语树库，详细细节参见文献[3]。 汉英自动词对齐：词对齐工具使用了包含81818个词条的英汉对译词典，汉语分词采用了上面介绍的工具。具体对齐过程采用了统计和词典相结合的方法，细节详见文献[4]。该工具在今年的863汉英词对齐评测结果为：精确率80.87%，召回率72.20%， F值0.7629。 图1给出了词对齐输入输出的一个示例，其中对齐部分中(x:y)表示第x个英语词对应第y个汉语词。 输入： 10 dollars is for opening the trunk. 10美元是开行李箱的费用。 20 pounds a week, including breakfast. 一周20磅，包括早饭。 输出： 10/1 dollars/2 is/3 for/4 opening/5 the/6 trunk/7 ./8 10/1 美元/2 是/3 开/4 行李箱/5 的/6 费用/7 。/8 (1:1); (2:2); (3:3); (5:4); (8:8); 20/1 pounds/2 a/3 week/4 ,/5 including/6 breakfast/7 ./8 一/1 周/2 20/3 磅/4 ，/5 包括/6 早饭/7 。/8 (1:3); (2:4); (3:1); (4:2); (5:5); (6:6); (7:7); (8:8); 图1. 词对齐