第五届全国机器翻译研讨会评测大纲20090603( 中文)(征求意见稿).docVIP

第五届全国机器翻译研讨会（CWMT2009）评测大纲 （征求意见稿） 引言 第五届全国机器翻译研讨会（CWMT2009）即将于2009年10月16-17日举行。该研讨会是前四届统计机器翻译研讨会（SSMT2005、SSMT2006、SSMT2007、CWMT2008）的延续。 根据惯例，本次研讨会将继续组织统一的机器翻译评测，以推进参评单位的实质性交流和机器翻译技术的发展。 本次评测的主办机构为： 中国中文信息学会 本次评测的组织单位是： 中国科学院计算技术研究所 本次评测的合作单位包括： 北京大学 内蒙古大学 中国科学技术信息研究所 微软亚洲研究院 本次评测的资源提供单位包括： 北京大学 哈尔滨工业大学 内蒙古大学 厦门大学 万方数据股份有限公司 点通数据有限公司 中国科学技术信息研究所 中国科学院自动化研究所 中国科学院计算技术研究所 本次评测的评测委员会主席是： 刘群（中国科学院计算技术研究所） 本次评测的评测委员会委员有： 李沐（微软亚洲研究院） 吕雅娟（中国科学院计算技术研究所） 那顺乌日图（内蒙古大学） 史晓东（厦门大学） 孙乐（中国科学院软件研究所） 王惠临（中国科学技术信息研究所） 杨沐昀（哈尔滨工业大学） 俞敬松 （北京大学） 张冬冬（微软亚洲研究院） 赵红梅（中国科学院计算技术研究所） 周玉（中国科学院自动化研究所） 有关会议和评测的更多信息请参见以下网址： /cwmt2009 本次会议和评测特别在Google Group上设置论坛CWMT，欢迎加入并参与讨论： /group/cwmt 评测项目 本次评测的项目设置如下： 评测项目代号 评测项目名称 语种 领域 技术 ZH-EN-NEWS-SINGL 汉英新闻领域单一系统 汉(英 新闻领域 单一系统 ZH-EN-NEWS-COMBI 汉英新闻领域系统融合 汉(英 新闻领域 系统融合 EN-ZH-NEWS-TRANS 英汉新闻领域机器翻译 英(汉 新闻领域 机器翻译 EN-ZH-SCIE-TRANS 英汉科技领域机器翻译 英(汉 科技领域 机器翻译 MN-ZH-DAIL-TRANS 汉蒙日常用语机器翻译 汉(蒙 日常用语 机器翻译 以上评测项目分为三类： “机器翻译”项目 “机器翻译”项目的参评系统要将评测组织者提供的源语言句子翻译成目标语言句子。 此类项目的参评系统可以采用任何机器翻译技术，包括基于规则的机器翻译技术、基于实例的机器翻译技术、或者统计机器翻译技术。对参评系统所采用的技术没有任何限制。 “单一系统”项目 “单一系统”项目的参评系统也要将评测组织者提供的源语言句子翻译成目标语言句子。 此类项目的参评系统必须是单一的系统，也就是说，不允许采用系统融合技术，将多个系统的结果融合成一个结果；也不允许采用对多个翻译结果进行重评分（Rescoring）的技术，因为重评分技术可以认为是系统融合技术的一个特例；同样不允许采用解码阶段的多模型技术，也就是使用多个不同概率模型同时指导解码的技术，因为这也可以看做另一种类型的系统融合技术。除此之外，对参评系统所采用的技术没有任何其他限制。 “系统融合”项目 “系统融合”项目的参评系统目标是，接受“单一系统”项目的翻译结果，并对这些结果进行重新组合，以得到更好的结果。 “系统融合”项目的参评系统只能基于已有的翻译结果进行处理，不得利用源语言句子，不得使用任何双语资源进行训练。 测试数据 “机器翻译”项目的测试数据 各“机器翻译”项目的评测都采用目前国际上普遍采用的评测方式。由评测组织方提供源语言的测试数据，测试数据已经分割成句子。测试数据格式见附件。 “单一系统”项目的测试数据： “汉英新闻领域单一系统”项目的测试数据与“机器翻译”项目类似。 此项评测的参评单位除了要在本次评测的CWMT2009测试数据上运行并产生结果以外，还要求在SSMT2007测试数据上运行并产生结果，并同时提交给评测组织单位。 “系统融合”项目的测试数据 在“汉英新闻领域单一系统”项目评测结束后，评测组织单位会将所有参评单位在CWMT2009和SSMT2007两个测试数据上的输出翻译结果（N-best译文）发给“汉英新闻领域系统融合”项目的所有参评单位，作为测试数据。 “汉英新闻领域系统融合”项目的参评单位在本次评测的CWMT2009测试数据的多个译文基础上进行系统融合，并给出系统融合的结果。SSMT2007测试数据的翻译结果用于对各个输入系统进行评估。 干扰数据 评测组织者提供给参评单位的测试数据中，除了真正的测试数据外，还有一定比例的干扰数据，干扰数据并不真正用于评测。 分割日期 为了确保训练数据和测试数据不会重叠，评测组织方定义了一个训练数据和测试数据的分割日期（Cut-off Date）。本次评测定义的分隔日期是2009年1