2025年BLEU评分专项训练.docxVIP

2025年BLEU评分专项训练

考试时间：______分钟总分：______分姓名：______

一、

简述BLEU评分的基本原理，包括其主要衡量指标、计算公式中的关键组成部分（如n-gramprecision,brevitypenalty,geometricmean）及其作用。

二、

假设你有以下机器翻译输出和两个参考翻译：

机器翻译输出：Thecatsatonthemat.

参考翻译1：Acatsitsonthemat.

参考翻译2：Thecatissittingonmat.

请手动计算该翻译的BLEU-4得分。计算过程中需要明确列出1-gram,2-gram,3-gram,4-gram的precision值，计算brevitypenalty(BP)，并最终得到BLEU-4分数。假设n-gram匹配不考虑词序。

三、

BLEU评分的brevitypenalty(BP)项起到了什么作用？请解释当机器翻译输出比所有参考翻译都短时，BP是如何调整最终的BLEU分数的。

四、

讨论BLEU评分作为一种机器翻译自动评测指标的主要优点。请至少列举三点。

五、

指出BLEU评分在衡量机器翻译质量方面存在的至少三点局限性或缺点。

六、

在实际应用BLEU评分评测机器翻译系统时，可能会遇到参考翻译质量不高的问题。这种情况会对BLEU分数产生什么影响？请说明原因。

七、

除了BLEU之外，你还了解哪些用于评测机器翻译质量的其他指标或方法？请简要说明其中一种与BLEU相比的主要区别。

八、

随着机器翻译技术的发展，评测方法也在不断进步。请结合“2025年”这一时间背景，谈谈你对未来机器翻译评测趋势的看法，特别是在超越传统BLEU评分方面，可能出现哪些新的评测方向或指标。

试卷答案

一、

BLEU评分是一种基于n-gram匹配的机器翻译自动评测指标。其基本原理是比较机器翻译输出与一组参考翻译之间的相似度。主要衡量指标包括：

1.n-gramPrecision:计算机器翻译输出中与参考翻译完全匹配的n-gram（n-gram是指连续的n个词）的比例。通常计算1-4-gram的precision，并取所有参考翻译中对应n-gramprecision的最小值。

2.GeometricMean:将所有n-gram（1-gram到4-gram）的最小precision值进行几何平均，得到未经惩罚的BLEU分数。

3.BrevityPenalty(BP):由于机器翻译输出的长度通常与参考翻译长度不同，BP项用于惩罚那些显著短于所有参考翻译的输出。它反映了由于长度不足而丢失的信息量，通常采用BP=min(1,(ref_length/hyp_length)^c)的形式，其中ref_length是参考翻译长度的平均值，hyp_length是机器翻译输出长度，c是一个常数（通常为0.35）。

最终BLEU分数=GeometricMean*BP。BLEU分数越高，通常表示机器翻译输出质量越好。

二、

计算过程：

1.分词：将所有文本切分成单词。

输出:[The,cat,sat,on,the,mat.]

参考1:[A,cat,sits,on,the,mat.]

参考2:[The,cat,is,sitting,on,mat.]

2.计算1-gramprecision:

输出1-grams:{The,cat,sat,on,the,mat.}

参考11-grams:{A,cat,sits,on,the,mat.}

参考21-grams:{The,cat,is,sitting,on,mat.}

最小匹配:{cat,on,the}(共3个)

1-gramPrecision=3/6=0.5

3.计算2-gramprecision:

输出2-grams:{Thecat,catsat,saton,onthe,themat.}

参考12-grams:{Acat,catsits,sitson,onthe,themat.}

参考22-grams:{Thecat,catis,issitting,sittingon,onmat.}

最小匹配:{catsat,onthe}(共2个)

2-gramPrecision=2/5=0.4(注意：输出总词数为6，所以最大2-gram