一种错误敏感的词对齐评价方法-主页-NLP.pdfVIP

一种错误敏感的词对齐评价方法1 黄书剑，奚宁，赵迎功，戴新宇，陈家骏 南京大学计算机软件新技术国家重点实验室，南京 210093 Email: {huangsj, xin, zhaoyg, daixy, chenjj}@nlp.nju.edu.cn 摘要： 对齐错误率（Alignment Error Rate，AER）是目前通用的词对齐评价标准。近年来的研究表明， AER虽然在一定程度上能够反映词对齐的质量，但它与机器翻译最终结果BLEU得分的相关性并不好。本文 针对基于短语的机器翻译系统（PBSMT）分析了AER可能存在的一些问题，并根据词对齐结果中可能存在的 不同类型的错误，提出了一种错误敏感的词对齐评测方法ESAER（Error-Sensitive Alignment Error Rate）。 实验表明，本文提出的ESAER与BLEU的相关性要远远好于AER。 关键字：统计机器翻译、词对齐、评价标准、AER 、错误敏感 An Error-Sensitive Metric for Word Alignment in Phrase-based SMT HUANG Shujian, XI Ning, ZHAO Yinggong, DAI Xinyu and CHEN Jiajun State Key Laboratory for Novel Software Technology, Nanjing University, 210093 Email: {huangsj, xin, zhaoyg, daixy, chenjj}@nlp.nju.edu.cn Abstract: AER (Alignment Error Rate) is a widely used alignment quality measure. Recent study shows that the AER score is not well correlated with the BLEU score of the final translation result. In this paper, we analyze the possible reasons for this weak correlation in a phrase- based SMT environment. We also propose a new alignment quality measure ESAER (Error-Sensitive Alignment Error Rate) according to different alignment errors. Experimental result shows that ESAER gets a much higher correlation with BLEU score than AER. Keywords ： SMT, AER, Word Alignment, evaluation metric, error-sensitive 1 引言 词对齐的基本任务是从句子对齐的双语平行语料中找到相互对应、互为翻译的词（如： 图一）。在基于短语的统计机器翻译模型中[Koehn et al.，2003 ；Chiang，2005] ，词对齐的质 量直接影响到后续的词翻译概率计算、短语抽取、短语翻译概率计算、调序模型的训练等步 骤的质量，从而很大程度上决定整个机器翻译系统的结果。因此，得到一个好的词对齐结果， 1 本文工作得到了国家 863 高科技项目资金（课题编号：2006AA010109 ）、国家自然科学基金（课题编号： ）、国家社科基金（课题编号： 07BYY051 ）以及南京大学研究生科研创新基金（课题编号： 2008CL08 ）的资助。 是统计机器翻译取得良好结果的前提。 图一：平行的双语句对及其对齐 利用统计的方法，从大量的双语平行语料中自动得到词对齐信息的方案，从 1993 年 IBM Model[Brown et al. ，1993]被提出以来就得到了广泛的认可。IBM Model1~5 本身就定义了词 对齐概率的计算方法，1996 年，Vogel 等人提出了基于隐马尔可夫模型的词对齐方法[V