自动评价机器翻译译文质量的一种方法.pdfVIP

维普资讯 大 庆 石 油 学 院 学 报 第 28卷 第 3期 2004年 6月 JOuRNALOFDAQING PETROIEUM INSTITUTE VoI．28 No．3 Jun． 2004 自动评价机器翻译译文质量的一种方法 尚福华 ，王宏威 ，黄 真。 (1．大庆石油学院 计算机科学与工程学院，黑龙江 大庆 163318； 2．大庆石油学院 学校办公室 黑龙江 大庆 163318) 摘 要：针对机器翻译译文质量的评价存在人工评价成本高，可重用性差的问题，提出了采用 BLEU方法代替人工 评价．分析了BLEU方法对汉语译文评价的效果．根据汉语的特点 ，做了汉字模型和词模型的评价实验 ，比较了人工评 价和BLEU方法评价效果 ，结果表明，基于BLEU的词模型的性能好于汉字模型． 关 键 词：BLEU方法；译文评价；字模型；词模型 中图分类号 ：TP391．2 文献标识码 ：A 文章编号：1000—1891(2004)03—0057—03 机器翻译系统评价的方法可归纳为 3种类型：(1)操作性评价 ，即从经济角度评价机器翻译系统 ，主要 分析机器的成本和开销-[13；(2)描述性评价，即根据忠实性、准确性等标准，评价译文的质量 ；(3)分类评价 ， 即记录发现的错误，并归类，分类评价机译系统中语言处理的弱点．机器翻译系统中具有代表性 的2个系 统是 Thompson实验系统和北京大学MTE系统_l2]．近年来，机器翻译 自动评价方面的研究较热_l3]．2002 年美国国家标准与技术研究所采纳 IBM公司提出的基于词的N元模型的评价方法 (BLEU方法)，该方 法的基本思路是质量较好的机器译文和人工译文有更多相同的词汇及句子片段．BLEU方法简洁明了， 并且和人工评分有很强的相关性．笔者尝试将 BLEU方法从英语译文评价推广到汉语译文的评价 ，分析 了BLEU方法在英汉翻译中的使用效果． 1 BLEU 方法 BLEU方法的基本思想 ：机器译文越是接近专业翻译人员的翻译 ，其译文质量就越好．笔者参照给 定的高质量人工译文，让机器 自动地获取翻译知识 ，给机器翻译的译文句子 “打分”．根据 BLEU方法，给 出任意 1个句子和整段文本的BLEU值 ，作为评估机器翻译系统的重要参数．BLEU形式化如下 ： 假设 1个句子 S可以被切分成 1个词序列，记作 S一 。硼：…W ，其中W 为词典中的 1个词，令 一 WjW+-…硼 ，则句子 S一叫 ．称词串 (1≤i≤i+是一1)为 1个 元词，句子 S中 元词为k— +1 个．在计算精度时，根据 取值的不同，进行 元词的匹配．由此得到了句子 元BLEU分数 的计算 公式： V一B ·exp(∑WInP)， (1) 或 InVn—min(卜 ，0)+ ， (2) P 一 C ／c ； (3) B 一 一』 ， (4) ， f≤ r． 式中：B 为句子过短的判罚因子；r为有效句子长度；c为候选译文长度；C 为候选译文与参照译文匹配 收稿 日期 ：2003—10—30；审稿人：许少华 ；编辑：陆雅玲 作者简介：尚福华(1962一)，男 ．副教授 ．从事人工智能和文本评价方面的研究 维普资讯 大 庆 石 油 学 院 学 报