2004年度863计划_机器翻译评测结果报告_公开版_041210-.PDFVIP

2004 年度863 计划中文信息处理与智能人机交互技术评测 机器翻译评测结果报告 2004 10 月18 日上午，中文与接口技术评测组对参加机器翻译评测的 10 家单位分别在中国科学院计算技术研究所和日本情报通信研究机构（NICT ）进 行了五个语言方向的机器翻译系统进行了现场评测。之后对翻译结果进行了自动 和人工评判。相关结果报告如下。 一、 评测数据 本次评测的数据分为对话和篇章两种，每种语料的内容涉及通用及奥运领 域，汉英、汉日、汉法三个方向采用相同的汉语语料。语料的规模见下表。 奥运领域 通用领域 合计 语种 句子数 字符/单词数 句子数 字符/单词数 句子数 字符/单词数 对话 200 2541 200 2000 400 454 1 汉语 篇章 139 5630 169 7249 308 12879 对话 200 1414 200 1704 400 3 118 英语 篇章 168 3521 142 3493 310 7014 对话 200 4 134 200 5267 400 940 1 日语 篇章 145 6557 164 7894 309 14451 其中，汉语和日语是字符数，英语是单词数。 评测结果是分别对对话和篇章语料的翻译结果评分。 二、 评测指标 评测指标分为人工(主观)评判和自动评测，以人工评判为主、自动评测为辅。 人工评判采用可理解率指标。评判方式是：由评测组织单位将提交的评测结果 汇总在一起，然后用计算机随机打乱译文句子的排列顺序。再将所有译文句子 提交给4 位以目标语言为母语的专家进行可理解率的人工评判。将专家评测的 结果汇总，用计算机还原成原来的排列顺序，计算出总的可理解率。自动评测 采用了目前常见的几种评判指标。其中NIST 和BLEU 是评测大纲中规定的正式 评测指标，其它供参考。 NIST：基于n 元语法准确率算数平均值的方法，得分越高越好； BLEU ：基于n 元语法准确率几何平均值的方法，得分越高越好； GTM ：基于调和平均值的文本相似度方法，得分越高越好； mWER ：基于编辑距离的最小单词错误率方法，得分越低越好； mPER ：位置无关的mWER 方法，得分越低越好。 - 1 - 2004 年度863 计划中文信息处理与智能人机交互技术评测 三、 评测结果 1、汉英机器翻译 （1）对话 人工 自动 ID 可理解率(%) NIST BLEU GTM mWER mPER System1 49.060 5.8301 0.1896 0.6477 0.6165 0.4916 System4 32.927 4.5335 0.1279 0.5481 0.6909 0.5745 System6 52.320 6.1223 0.2094 0.6607 0.6202 0.4805 System7 34.245 4.4259 0.1009 0.5245 0.7392 0.6125 System9 40.153 5.4762 0