第九届全国机器翻译研讨会(CWMT2013)评测大纲资料.docVIP

第九届全国机器翻译研讨会（CWMT 2013）评测大纲 中国科学院计算技术研究所 CWMT 2013机器翻译评测小组 第九届全国机器翻译研讨会（CWMT 2013）将于2013年10月31日- 11月1日在昆明理工大学举行。根据惯例，本次研讨会将继续组织统一的机器翻译评测。 CWMT 2013机器翻译评测方案与往届评测相比有较大变化。首先，本次评测将采取全新的“灰箱评测（Gray-box Evaluation）”方式，即参评单位除了提交最终的翻译结果文件外，还需提交主系统的翻译关键步骤的中间结果文件。其次，评测组织方将提供所有评测项目的“基线系统（Baseline System）”及相应的关键步骤中间结果文件。此外，在传统自动评测的基础上，本次评测还将增加人工评测。希望通过这些新举措，CWMT 2013机器翻译评测能够为参评单位提供一个更加开放的平台，促进参评单位间的实质性交流和机器翻译研究及技术的发展。我们期待着更多的新人和成熟的研究团队能参加到这个评测中来。 本次评测的组织信息如下（均以汉语拼音为序）： 评测主办机构： 中国中文信息学会 评测组织单位： 中国科学院计算技术研究所 评测合作单位： 东北大学 哈尔滨工业大学 内蒙古大学 青海师范大学 微软亚洲研究院 厦门大学 新疆大学 中国科学技术信息研究所 中国科学院自动化研究所 评测资源提供单位： 北京大学 点通数据有限公司 东北大学 哈尔滨工业大学 内蒙古大学 青海师范大学 西北民族大学 西藏大学 厦门大学 新疆大学 中国科学技术信息研究所 中国科学院合肥智能机械研究所 中国科学院计算技术研究所 中国科学院新疆理化技术研究所 中国科学院自动化研究所 评测委员会主席： 吕雅娟（中国科学院计算技术研究所） 评测委员会委员： Antonio（） （） （） （） 刘群（中国科学院计算技术研究所；都柏林城市大学） 那顺乌日图（内蒙古大学） 史晓东（厦门大学） 孙乐（中国科学院软件研究所） 吐尔根·伊布拉音（新疆大学） 王惠临（中国科学技术信息研究所） 张家俊（中国科学院自动化研究所） 赵红梅（中国科学院计算技术研究所） 朱靖波（东北大学） 有关研讨会的更多信息请参见以下网址： /CWMT 2013/ 有关评测的更多信息请参见以下网址： /evalshow.php?id=2013 评测项目 本次评测包含6个评测项目，我们将为各个评测项目的参评单位提供相应的训练语料和开发语料。具体项目设置如表1所示。 表1 CWMT 2013 评测项目表 序号 项目代号 评测项目名称 语种 领域 1 CE 汉英新闻领域机器翻译 汉语(英语 新闻领域 2 EC 英汉新闻领域机器翻译 英语(汉语 新闻领域 3 ES 英汉科技领域机器翻译 英语(汉语 科技领域 4 MC 蒙汉日常用语机器翻译 蒙古语(汉语 日常用语 5 TC 藏汉政府文献机器翻译 藏语(汉语 政府文献 6 UC 维汉新闻领域机器翻译 维吾尔语(汉语 新闻领域 对于每个评测项目，参评单位可以自由选择所采用的机器翻译技术（如：基于规则的机器翻译技术、基于实例的机器翻译技术及统计机器翻译技术等）。参评单位也可以使用系统融合技术，但在系统描述中必须做出明确说明，并在技术报告中说明进行系统融合的各个单系统的性能。评测组织方在发布评测结果时，将对使用系统融合技术的系统进行标注说明。 特别说明：若某一评测项目的报名参评单位少于3家，评测组织方将取消该评测项目。 评测方法 灰箱评测（Gray-box Evaluation） 采用类似Gray-box testing）”的方法，我们称之为“灰箱评测”，即参评单位除了提交最终的结果文件外，还要提交评测组织方设定的关键步骤相关的中间文件（简称为“灰箱评测数据”），以方便参评单位对翻译结果进行比较和分析，促进参评单位间的实质性交流。 关于参评单位需要提交的二。 评测组织方将为每个评测项目提供一个或多个基线系统，包括基线系统的源代码和相应的灰箱评测数据。参评单位可以针对基线系统进行优化改进，藉此构建自己的机器翻译系统，也可以完全使用自己的系统。基线系统提供的数据和翻译结果可以作为参评单位参考和比较的基准。 参评单位可以获得参评项目的基线系统和相关数据。评测组织方为参评单位提供基线系统的数据如下： 源代码（若使用开源工具，则提供相关工具的下载地址及所使用的命令和参数）； 训练部分相关的灰箱测试数据； 解码部分相关的灰箱测试数据（发布最终评测结果时提供）； 评测指标 自动评测：自动评测是指利用自动评价工具对参评单位提交的最终翻译结果文件进行评价。本次评测中的自动评测采用多种自动评价标准，包括：BLEU-SBP、BLEU-NIST、TER、METEOR、NIST 、GTM 、mWER 、mPER、IC