机器翻译测试大纲-自然语言处理.DOCVIP

2004年度机器翻译评测大纲 一、评测对象 本次评测的对象包括：汉－英、英－汉、汉－日、日－汉、汉－法、法－汉、汉法机器翻译系统中的核心技术。 二、评测内容 本次评测组织两种语料的评测，一种是篇章语料，一种是对话语料。领域是通用领域和面向奥运的相关领域，包括体育赛事、天气预报、交通住宿、旅游餐饮等。 本次评测的评测指标包括译文质量和翻译速度。 三、评测方法 1. 评测方式 本次评测为现场评测。 结果评估采用的是以人工评估为主、自动评估为辅方式。 人工评估采用可理解率指标。评估方式是：由评测组织单位将提交的评测结果汇总在一起，然后用计算机随机打乱译文句子的排列顺序。再将所有译文句子提交给多位专家进行可理解率的人工评测评估。将专家评测的结果汇总，用计算机还原成原来的排列顺序，计算出总得分的可理解率。 自动评测采用基于n元语法的BLEU和NIST方法。…… 评测步骤 (1) 在评测单位统一提供的评测环境上安装被测系统。系统应安装在指定的目录中。 (2) 评测单位给出评测数据。评测数据存放在指定目录中。给出评测数据以后被测单位不得再更改系统参数。 (3) 被测单位运行系统，提交评测结果。被测单位应指导评测人员学会操作方法，所有操作由评测人员进行，系统运行时各单位人员应离场。系统的运行应该是批处理方式的，系统读入一个脚本文件（格式后面说明），脚本中存放输入文件名和对应的输出文件名。 (4) 评测单位事后进行人工评估。 (5) 公布评测结果。 评测标准 （1）人工评测标准 本次评测按0.0 – 5.0分打分，可含一位小数，最后采用百分制换算评测结果。 等级分 得分标准 译文可理解率 0 完全没有译出来。 0% 1 看了译文不知所云或者意思完全不对。不过有小部分词语是译对了的。 20% 2 译文有一部分符合原文的一部分意思，或者全句没有译对，但是关键的词都孤立地译出来了，对人工编辑有点用处。 40% 3 译文大致表达了原文的意思，局部与原文有出入，一般情况下需要参照原文才能改正。有些情况即使无需参照原文也能猜到原文的意思，但译文的不妥明显是由于翻译程序的缺陷造成的。 60% 4 译文传达了原文的信息。不用参照原文，就能明白译文的意思，但是部分译文在词形变化，词序，译词选择，地道性等方面多少有些问题，需要修改。不过这种修改无需参照原文也能有把握地进行，且修改也较容易。 80% 5 译文准确流畅地传达了原文的信息，语法结构正确，除个别错别字、小品词、单复数、地道性等小问题外，只需小修改，或者完全无需修改。 100% 总的可理解率 = 所有句子得分之和/ 总句数/5×20 ×100％ （2）翻译速度评测标准 由主持评测的工作人员现场记录翻译时间，各系统自动显示从第一个句子翻译开始到所有句子翻译完毕所用的时间（不计系统初始化所用时间，只记开始翻译到所有句子翻译完毕所用时间）。 4. 输入输出文件格式 系统首先接受一个脚本文件作为输入，脚本文件中给出了一系列机器翻译源语言和目标语言文件的文件路径。 系统的源语言文件为一个扩展名为.xml的文本文件，英文、中文、日文的编码分别为ASCII及、GBK和XXXUnicode。目标语言文件的格式要求和源语言文件相同。 下面以汉英机器翻译为例，说明脚本文件、源语言文件和目标语言文件格式。 （1）脚本文件格式： 脚本文件是文本文件，由若干行组成。每行代表一个待翻译的源语言文件。每行分为3个部分，各个部分以空格分开，第一部分为序号，第二部分为源语言文件名，第三部分为目标语言文件名。系统的翻译应按顺序进行，不得更改输出文件名。给出的文件名都是相对于脚本文件所在目录的。 1 d:\source\src1.txxmlt d:\result\dst1.xmltxt 2 d:\source\src2.xmltxt d:\result\dst2.txxmlt 3 … （2）源语言文件格式： 源文件采用xml格式。每个源语言文件包含一个DOCdoc元素（由DOC doc …和/DOCdoc括起来的部分），其中DOCdoc元素后面的属性说明文档相关信息。docid给出文档名称，lang给出文档的源语言，属性值用双引号引起。语言代码中，英语用雍“en”表示，汉语用“zh”表示，日语用“ja” 表示，法语用“fr”表示。 每个DOCdoc段元素由若干个p元素（由p和/p括起来的部分）组成，输出中应保持相应结构。 每个p段元素由若干个s元素（由s …和/s括起来的部分）组成，其中s后面元素的属性给出句子的id值，id的值是正整数。每个s元素的id各不相同，但不一定是连续的数值。每个s元素段可能包含一个或多个句子。 输出中应保持对应的源句子和目标句子的id值相同。 ?xml version=1.0 encoding=GBKU