机器翻译测试大纲.docVIP

机器翻译评测大纲 一、评测对象 本次评测的对象包括：汉－英、英－汉、汉－日、日－汉机器翻译系统中的核心技术。 二、评测内容 本次评测组织两种语料的评测，一种是篇章语料，一种是对话语料。领域是面向奥运的相关领域，包括体育赛事、天气预报、交通住宿、旅游餐饮等。 本次评测的评测指标包括译文质量和翻译速度。 三、评测方法 1. 评测方式 本次评测为现场评测。采用的是以人工评测为主，人工评测和自动评测相结合的方式。 人工评测方式是：由评测组织单位将各个评测单位提交的评测结果汇总在一起，然后用计算机随机打乱译文句子的排列顺序。再将所有译文句子提交给多位专家进行人工评测。将专家评测的结果汇总，用计算机还原成原来的排列顺序，分别计算出各个评测单位的总得分。 评测步骤 在评测单位统一提供的评测环境上安装被测系统 评测单位给出评测数据 被测单位运行系统，提交评测结果 评测单位运行自动评测程序，得出自动评测结果 评测单位事后进行人工评测 公布评测结果 评测标准 （1）自动评测标准 机器翻译的自动评测目前比较成熟的标准有BLEU标准、NIST标准等。本次评测采用NIST标准。具体评测标准见附件。 （2）人工评测标准 本次评测按0 - 6个等级层次打分，最后采用百分制换算评测结果。 等级分 得分标准 译文可理解率 0 完全没有译出来。 0% 1 看了译文不知所云或者意思完全不对。不过