计算所软环件室trec-11报告.pptVIP

TREC概况及TREC-11简介 中科院计算所软件室 王 斌 wangbin@ 2002.12.4 主要内容 一、TREC概况 二、TREC评测方法及标准 三、TREC-11 介绍以及我们的工作 第一部分 TREC概况 TREC的历史、发展与目标 TREC的历史 TREC Text REtrieval Conference，文本检索会议 一开始仅仅面向文本，现在处理对象更广 情报分析和处理 组织者 NIST(National Institute of Standards and Technology)，政府部门 DARPA(Defense Advanced Research Projects Agency)，军方 会议情况 评测会议 1992~2002，11届 TREC的运行过程 TREC由一个程序委员会(包括来自政府、工业界和学术界的代表)管理。 TREC以年度为周期运行。过程为： 确定任务(1~2): NIST选择某些任务，制定规范 参加者报名(2~3):参加者根据自己的兴趣选择任务（报名免费，大部分数据也免费！） 参加者运行任务(3~9):参加者用自己的系统运行测试问题，给出结果并将它们提交给NIST 结果评估(10): NIST使用固定的评测软件和工具对结果进行评估，并将结果返回给参加者 大会交流(11 马里兰州的Gaithersburg)：论文交流 Yearl