中国中文信息学会第七届全国机器翻译研讨会（CWMT2011）评测大纲.docVIP

中国中文信息学会第七届全国机器翻译研讨会（CWMT2011）评测大纲 中国科学院计算技术研究所 CWMT2011机器翻译评测小组 第七届全国机器翻译研讨会（CWMT2011）将于2011年9月23-24日在厦门举行。该研讨会是前六届机器翻译研讨会（SSMT2005、SSMT2006、SSMT2007、CWMT2008、CWMT2009、CWMT2010）的延续。 根据惯例，本次研讨会将继续组织统一的机器翻译评测，以推进参评单位的实质性交流和机器翻译技术的发展。 本次评测的主办机构为： 中国中文信息学会 本次评测的组织单位是： 中国科学院计算技术研究所 本次评测的合作单位包括： 内蒙古大学 青海师范大学 中国科学技术信息研究所 中国科学院自动化研究所 微软亚洲研究院 新疆大学 本次评测的资源提供单位包括： 北京大学 大连理工大学 东北大学 哈尔滨工业大学 南京大学 内蒙古大学 青海师范大学 西北民族大学 厦门大学 点通数据有限公司 中国科学技术信息研究所 中国科学院自动化研究所 中国科学院计算技术研究所 新疆大学 吕雅娟（中国科学院计算技术研究所） 本次评测的评测委员会委员有： 才让加（青海师范大学） 曹海龙（哈尔滨工业大学） 陈家骏（南京大学） 黄德根（大连理工大学） 李沐（微软亚洲研究院） 刘群（中国科学院计算技术研究所） 那顺乌日图（内蒙古大学） 史晓东（厦门大学） 孙乐（中国科学院软件研究所） 吐尔根（新疆大学） 王惠临（中国科学技术信息研究所） 赵红梅（中国科学院计算技术研究所） 周玉（中国科学院自动化研究所） 朱靖波（东北大学） 有关会议和评测的更多信息请参见以下网址： /cwmt2011/ /new/CWMT/index.php 评测项目 本次评测的项目设置如下： 序号 项目代号 评测项目名称 语种 领域 1 ZH-EN-NEWS 汉英新闻领域机器翻译 汉语(英语 新闻领域 2 EN-ZH-NEWS 英汉新闻领域机器翻译 英语(汉语 新闻领域 3 EN-ZH-SCIE 英汉科技领域机器翻译 英语(汉语 科技领域 4 JP-ZH-NEWS 日汉新闻领域机器翻译 日语(汉语 新闻领域 5 MN-ZH-DAIL 蒙汉日常用语机器翻译 蒙古语(汉语 日常用语 6 TI-ZH-GOVE 藏汉政府文献机器翻译 藏语(汉语 政府文献 7 UY-ZH-NEWS 维汉新闻领域机器翻译 维吾尔语(汉语 新闻领域 8 KA-ZH-NEWS 哈汉新闻领域机器翻译 哈萨克语(汉语 新闻领域 9 KI-ZH-NEWS 柯汉新闻领域机器翻译 柯尔克孜语(汉语 新闻领域 本次评测重点关注各种语言到汉语的翻译。其中，“日汉新闻领域机器翻译”，“蒙汉日常用语机器翻译”，“藏汉政府文献领域机器翻译” ，“维汉新闻领域机器翻译” ，“哈汉新闻领域机器翻译”，“柯汉新闻领域机器翻译”六个项目是本次评测的新增项目。 评测采用目前国际上普遍采用的评测方式。由评测的组织方提供训练和测试数据，参评单位在给定时间内返回翻译结果，再由评测组织方进行评价。 所有评测项目都是对译文质量进行评测，主要采用自动评测指标。 对于每个评测项目，参评系统可以采用任何机器翻译技术，包括基于规则的机器翻译技术、基于实例的机器翻译技术、或者统计机器翻译技术。参评系统也可以采用系统融合技术，但要求在系统描述中进行明确说明，并在技术报告中给出系统融合前单系统的运行结果。评测组织方在发布评测结果时，也会对采用了系统融合技术的系统进行标注。 如果某个评测项目的报名参评单位少于3家，该评测项目将取消。 测试数据 评测组织者向参评单位提供参评项目的源语言测试数据，测试数据已经分割成句子，其格式见附件二。 评测组织者提供给参评单位的测试数据中，除了真正的测试数据外，还有一定比例的干扰数据，干扰数据并不真正用于评测。 测试结果 参评单位收到测试数据后，应在给定时间内返回翻译结果。翻译结果采用1-best结果文件格式，具体数据格式见附件二。 对于每个评测项目，（Primary Result）（Contrast Results） 参评单位提交的每个结果，都应附带一个详细的系统描述，系统描述的要求见附件二。 训练数据 评测组织方将指定一些语言资源，供参评单位用作系统训练之用。评测组织方提供的资源的清单参见附件四。评测组织方将根据参评单位报名参加的项目不同提供相应的训练数据。例如，参加“英汉科技领域机器翻译”项目的单位可以获得“英汉科技训练数据”，参加“蒙汉综合领域机器翻译”项目的单位可以获得“蒙汉训练数据”等。 基本系统中，对于采用基于实例的机器翻译技术或者统计机器翻译技术实现的模块或系统，所使用的训练数据必须限制在评测组织者指定的数据范围之内，不允许使用任何外部数据