机器翻译自动评价的挑战.PDFVIP

评测的评测评测的评测 ——机器翻译自动评价的挑战 杨沐昀、赵铁军、孙叔琦、朱俊国、朱晓宁 哈尔滨工业大学计算机科学与技术学院哈尔滨工业大学计算机科学与技术学院 机器智能与翻译研究室 2009年10月，南京 提提 纲纲 机器翻译自动评价研究概况 机器翻译自动评价技术的评测机器翻译自动评价技术的评测 WMT(07-09) NIST MetricsMATR08 哈工大机器翻译自动评价研究进展 基于n-gram相似度计算的改进 基于机器学习的多评价方法融合 挑战：如何评价“评价方法” 提提 纲纲 机器翻译自动评价研究概况 机器翻译自动评价技术的公开评测机器翻译自动评价技术的公开评测 WMT(07-09) NISST MetricsMATR08 哈工大机器翻译自动评价研究进展 基于基于n-gram相似度计算的改进相似度计算的改进 基于机器学习的多评价方法融合 挑战挑战：如何评价如何评价 ““评价方法评价方法”” 机器翻译评价研究(1/6) “机器译文” 的自动评价目标： 有多好 ( ×) 哪个更好 (( √)) 评价性能度量：人工评价结果为标准 准确率准确率 (( ××)) 结果一致程度 ( √) 相关系数：Pearson, Spearman, Kendall’s Tau 不关心具体人工和自动评价分数 机器翻译评价研究(2/6) BLEU：第一个成功应用的MT 自动评价方法 基本思路：正确译文的相似性 例：（ff rom Zhou，M T2002 ） Candidate 1: It is a guide to action which ensures that the military always obeys the commands of the party CandidateCandidate 2:2: ItIt isis toto insureinsure thethe troopstroops foreverforever hearinghearing thethe activityactivity guidebookguidebook that party direct ReferenceReference 1:1: ItIt isis aa guideguide toto actionaction thatthat ensuresensures thatthat thethe militarymilitary willwill foreverforever heed party commands Reference 2: It is the guiding principle which guarantees the military forces alwaysalways beingbeing underunder thethe commandcommand ofof thethe partyparty 机器翻译评价研究(3/6) BLEU 基于基于nn-gramgram精确率的相似度精确率的相似度 ∑∑ ∑∑Count clip (n −gram ) 计算、简单、高效 Pn C ∈{candidates } n −gram ∈C ∑ ∑Count (n −gram ) 在全部测试集上计算系统得 C ∈{candidate