全国机器翻译研讨会CWMT2008评测大纲-中文语言资源联盟.PDFVIP

CWMT2008 第四届全国机器翻译研讨会（CCWWMMT评测大纲 一、 引言 第四届全国机器翻译研讨会（CWMT2008）即将于2008年11月27-28日举行。该研 讨会是前三届统计机器翻译研讨会（SSMT2005、SSMT2006、SSMT2007）的延续。 根据惯例，本次研讨会将继续组织统一的机器翻译评测，以推进参评单位的实质 性交流和机器翻译技术的发展。 本次评测的主办机构为： 中国中文信息学会 本次评测的组织单位是： 中国科学院计算技术研究所 本次评测的合作单位包括： 中国科学技术信息研究所 微软亚洲研究院 本次评测的资源提供单位包括： 北京大学 哈尔滨工业大学 厦门大学 万方数据公司 中国科学技术信息研究所 中国科学院自动化研究所 中国科学院计算技术研究所 本次评测的评测委员会主席是： 刘群（中国科学院计算技术研究所） 本次评测的评测委员会委员有： 黄德根（大连理工大学） 林钦佑（微软亚洲研究院） 吕雅娟（中国科学院计算技术研究所） 王惠临（中国科学技术信息研究所） 杨沐昀（哈尔滨工业大学） 张玉洁（日本情报通信研究机构，NICT） 宗成庆（中国科学院自动化研究所） 有关会议和评测的更多信息请参见以下网址： /cwmt-2008.html /cwmt-2008.html 二、 评测项目 本次评测的项目设置如下： 语种与领域 评测项目 项目代号 汉英新闻领域 机器翻译 ZH-EN-NEWS-TRANS 汉英新闻领域 系统融合 ZH-EN-NEWS-COMBI 英汉新闻领域 机器翻译 EN-ZH-NEWS-TRANS 英汉科技领域 机器翻译 EN-ZH-SCIE-TRANS 1. 11.. “机器翻译”项目 “机器翻译”项目的评测采用目前国际上普遍采用的评测方式。由评测组织方提 供测试数据，参评单位在给定时间内返回翻译结果，由评测组织方进行评价。主要采 用自动评测指标。 “机器翻译”项目允许采用评测组织方提供的数据之外的数据进行训练。在最后 公布的评测结果中，对使用了外部数据的系统将加以明确的标记。 “机器翻译”项目的每个参评单位必须提交一个正式结果，最多可以提交两个对 比结果。 对于汉英新闻领域“机器翻译”项目，由于“机器翻译”项目的输出文件将用于 后面的“系统融合”项目评测，因此，每个“机器翻译”项目参评单位除了按照上述 要求提交翻译结果以外，还应完成以下工作： 1) 除了在给定的测试数据上提交评测结果以外，参评单位还应提供同一个参评系 统在SSMT2007汉英机器翻译测试数据上的翻译结果，用作“系统融合”项目 的训练数据，为此本次评测要求在汉英新闻领域的“机器翻译”项目中，不得 使用SSMT2007的测试数据作为训练数据。有关SSMT2007机器翻译评测数据的 说明，请参加本大纲附录五（ChineseLDC资源编号：2007-863-001）。 2) 如果参评系统所采用的方法允许，请对所有的测试数据（包括本次评测的测试 数据和SSMT2007的测试数据）提供N-best的翻译结果，要求给出的N-best结果 按照评分从高到低排序。N最多不超过200。“机器翻译”项目评测只使用评分 最高的结果进行评价，其他结果将提供给“系统融合”项目的参评单位作为输 入数据。如果参评系统所采用的方法无法提供N-best的翻译结果，则可以不提 供。 2. 22.. “系统融合”项目 1) 在“机器翻译”项目评