汉语信息检索的测试集建设.PDFVIP

第 29 期 情 报 杂 志 Vo1．29 No．6 2010 6 Jun． 2010 年 月 JOURNALOFINTELLIGENCE · 信息技术 · 汉语信息检索的测试集建设* TheConstructingofTestSetonChineseInformationRetrieval 张明尧 姬东鸿 (武汉大学 武汉430072) 摘 要 提 出利用模板匹配的策略结合统计原理来解决存在于汉语信息检索测试集建设过程中人工判断文档相关 性的任务方面的主观性问题。通过实际的操作和系统内的检验，此方法有助于规避人工评判的主观性，为人工评判 rCIR测试集的规范和标准提供一定的依据。 关键词 测试集 主观性 模板 匹配策略 标准 中圈分类号 TP391 文献标识码 A 文章编号 1002—1965{2010)06—0099—05 我国汉语信息检索的资源建设是一个薄弱环节。 研究者一个交流思想、讨论实验方法的论坛 ；C．探索评 制约信息检索资源建设主要有两方面的因素：一方面， 定各信息获取技术优劣的评测方法和更科学地构建大 国内汉语信息检索的平台建设起步 比较晚，在一定程 规模可重用数据集的方法。首届 IR评测会议发 度上制约了汉语信息检索资源的建设；另一方面，汉语 起于 1997年…1，自开始运行至今已有 10多年的历史。 信息检索资源的建设需要通过机器搜寻一定数量的文 该评测会议每一年半举办一次 ，迄今 已举办七届。 档，然后剔除其中重复的文档构成一个测试集，再 由人 gqTCIR是个开放程度很高同时发展很快的国际评测 工参与标注这个测试集形成标准答案供参赛 队使 会议，它主要面向中文、日语、韩语、英语等当前受到广 用…1。而人工的参与就牵涉到标准的制定和执行 ，目 泛关注的语种。 前尚缺乏适用于汉语信息检索语料的人工评测的客观 2 测试集的建立方法 标准。此前，我国汉语信息检索所依赖的平台和资源 主要是由NTCIR和TREC提供。我们在2008年参加 除了NTCIR外，目前比较流行并且颇具规模的语 了NTCIR的中文信息检索人工评测 2，在评测过程中 言信息处理国际会议还有美 国的文本检索会议 (Text 遇到一些有关制定人工评测标准的问题，而这些问题 RetrievalConference)和欧洲的跨语言评测会议 CLEF 国内外鲜有文献提及 。 (Cross— LanguageEvaluation Forum )。NTCIR 和 CLEF都是在 TREC的基础上发展起来的评测会议， 1 信息检索测试平台介绍 因此三者在很多评测项 目和操作程序都是一致的。诞 NTCIR(NACSISTestCollectionofInformationRe— 生于 1992年的TREC是信息检索(IR)界为进行检索 trieva1)是由日本情报信息研究所NII(NationalInstitute 系统和用户评价而举行的活动。它由美国国家标准技 ofInforrnatics)主办的多语言处理国际评测会议。该评 术协会(NIST)和美国高级研究计划局(DARPA)共同 测会议的主要 目的uJ是增强信息获取技术的研究交 主办。TREC主要针对的是西方语言之间的跨语言检 流，包括信息检索、问答系统、文本摘要、信息抽取等方 索文本信息的检索评测，在后来也增加了中文、阿拉伯 面的内容。其举办 目的主要为[】：a．提供大规模可重 文与英