rack开展研究的建议.pptVIP

TREC现况简介及针对Robust Track开展研究的建议 主要内容 TREC概况 TREC评测方法及标准 Robust Track简介 第一部分 TREC概况 历史 发展 目标 TREC的历史 TREC: Text REtrieval Conference，文本检索会议 通过所发展出的大型测试集，制定各种测试项目、测试 程序及测量准则，组合成一个评估检索系统的机制 组织者： NIST (National Institute of Standards and Technology) 美国国家标准及技术局 DARPA (Defense Advanced Research Projects Agency) 美国国防部高等研究计划局 会议： 1992~2003，12 TREC的运行过程 TREC由一个程序委员会(包括来自政府、工业界和学术界的代表)管理。 TREC以年度为周期运行。过程为： 确定任务(1~2): NIST选择某些任务，制定规范 参加者报名(2~3):参加者根据自己的兴趣选择任务（报名免费，大部分数据也免费） 参加者运行任务(3~9):参加者用自己的系统运行测试问题，给出结果并将它们提交给NIST 结果评估(10): NIST使用固定的评测软件和工具