基于实例的BLEU翻译评价方法.docVIP

基于实例的BLEU翻译评价方法 　　摘要:该文以BLEU方法为基础,研究了基于实例的机器翻译评价方法在英汉翻译译文质量评价中的应用,并探讨了汉语词模型和字模型在研究汉语时特殊语言问题的影响。实验验证,利用BLEU方法能够在一定程度上分辨译文质量的优劣。 　　关键词:机器翻译评价;BLEU方法;汉语词模型和字模型 　　中图分类号:TP393文献标识码:A文章编号:1009-3044(2009)32-9035-02 　　The Case-based Translation Evaluation Method - BLEU 　　WANG Ju-qin1, GAO Jun-tao2 　　(1.Wuxi Institute of Technology, Wuxi 214121, China; 2.Suzhou Industrial Park Xing Hai School, Suzhou 215021, China) 　　Abstract:This dissertationis based on the BLEU,application of the case-based method in the quality evaluation of English-Chinese translation is studied.The impact of the Chinese word model and Chinese character model is studied on the research of Chinese language at the special problems.Experiments vertified that it is effective to distinguish which is better by using BLEU-method in the quality evaluation of translation. 　　Key words: machine translation evaluation; BLEU; Chinese word model and Chinese character model 　　机器翻译评价研究是推动机器翻译系统发展的重要手段。目前,按照评价方式机器翻译可以分为人工评价和自动评价。近些年,机器翻译自动评价领域发展十分迅速,出现了各种各样的机器翻译自动评价方法。其方法大致可以分为以下两种: 　　一种是利用语言模型,抽取语言特征等基于译文内在特征的自动评价方法。另外一种自动评价方法涉及机器译文和参考译文的比较。在众多的机器翻译自动评价方法中,2002年IBM提出的基于N-gram精确率的BLEU方法是目前采用最广泛的。 　　1 BLEU方法介绍与实例 　　BLEU测度的原理是计算待评价译文和一个或多个参考译文间的距离。距离是文本间n元相似度的平均,n=1,2,3(更高的值似乎无关紧要)。也就是说,如果待选译文和参考译文的2元(连续词对)或3元相似度较高,那么该译文的得分就较高。 　　除了直觉的假设,研究人员还把该测度和人工评价比较从而探索它是否反映了翻译的质量。内部数据和DARPA数据都被利用来测试人工评分和BLEU评分的一致性。结果证明该方法是可接受的。 　　BLEU方法被NIST机器翻译评价活动略作修改后采纳为自动测度。主要修改在于:文本预处理,根据频率不同对N元赋予不同的权重,以及仅使用3元模型。 　　除了按单个字(词)匹配,还有按连着的两个字(词)……N个字(词)匹配。按单个字(词)匹配称为一元(Uni-gram)匹配,按两个字(词)匹配称为二元(Bi-gram)匹配,……按N个字(词)匹配称为N元(N-gram)匹配。进行N元匹配时,不仅要计算N元匹配的BLEU分数,还要计算前(N-1)元匹配的分数,并且将前(N-1)元匹配的分数累加到N元匹配的分数中作为N元匹配的分数。计算N元匹配的BLEU分数的公式为: 　　 (1) 　　其中,pn为N元匹配时的分数,即: 　　取权重系数wn=1/N。所以上式可以写成: 　　 (2) 　　从上式可以看出,N元匹配时BLEU分数为一元匹配至N元匹配的几何平均值在乘以一个惩罚系数 。 　　程序实现时,为减小乘积带来的误差,可将式(2),改写成求和的形式: 　　(3) 　　下面的例子说明如何计算三元的BLEU分数。 　　例1: 　　机器译文:书在课桌上 。 　　参考译文1:在课桌上有本书 。 　　参考译文2:书在桌上 。 　　表1列出了三元字匹配的BLEU分数的详细计算过程。 　　由于机器译文长度大于参考译文的最小长度,所以惩罚系数。所以有: 　　2 基于实例的BLE