第九届全国机器翻译研讨会（CWMT2013）评测报告.PDFVIP

第九届全国机器翻译研讨会 （CWMT 2013 ）评测报告 赵红梅谢军 吕雅娟于惠张昊亮刘群 中国科学院计算技术研究所，北京，100190 摘要：本文介绍了CWMT 2013 机器翻译评测的总体情况，描述了CWMT 2013 评测的几个特点：1）采用 了“灰箱评测”方式；2 ）提供了各评测项目的基线系统；3 ）在部分评测项目上进行了人工评测；4 ）新 增了METEOR 和TER 两个自动评测指标。除此外，本文还详细描述了CWMT 2013 评测的项目设置、参 评单位及参评项目、官方发布的评测数据、评测过程等，最后给出了所有参评系统的匿名评测结果，并在 附件中提供了各参评单位主系统的系统描述。 CWMT 2013 Machine Translation Evaluation Official Report Hongmei Zhao, Jun Xie, Yajuan Lü, Hui Yu, Haoliang Zhang, and Qun Liu Institute of Computing Technology, Chinese Academy of Sciences, Beijing, 100 190, China Abstract: This report presents an overall introduction to CWMT 2013 MT evaluation. Compared with the past CWMT (China Workshop on Machine Translation) evaluations campaigns, CWMT 2013 MT evaluation is char- acterized as follows: first, adopting Gray-box evaluation for the first time, which requires the participants to sub- mit the files of some key procedures predefined by the organizer (gray-box files for short); second, providing baseline system(s) and the corresponding gray-box files for every task; third, carrying out manual evaluation on some specific tasks. This paper gives a detailed description of the evaluation tasks, the participants and their reg- istered tasks, the official release of the evaluation data, the three characters mentioned above, the procedure and most of all the evaluation ’s results. The detailed system descriptions of all primary systems are also attached. 1 概述 用语、藏汉政府文献和维汉新闻评测。为了了 解各参评单位的系统进步情况，本次评测所有 为了全面了解国内机器翻译技术的最新发 项目都包含进展测试(Progress Test) ，其中，汉 展水平，促进机器翻译技术的交流和发展。按 英新闻采用了一个进展测试集，英汉新闻采用 照惯例，由中国中文信息学会主办的第九届全 了两个进展测试集，其他评测项目同时包含进 国机器翻译研讨会（CWMT 2013 ）继续组织了 展测试和现状测试(Current Test)两种测试集。 统一的机器翻译评测（简称CWMT 2013机器翻 表1 CWMT 2013评测项目表 译评测）