02信息检索的评价.ppt

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * Example 1. d123 6. d9 11. d382. d84 7. d511 12. d483. d56 ? 8. d129 ? 13. d2504. d6 9. d187 14. d1135. d8 10. d25 15. d3 ? (33.3%,33.3%) (25%,66.6%) (20%,100%) * 其他测度方法 (cont.) E指标 允许用户根据需要调整精确率和召回率的比例 * 其他测度方法(cont.) 面向用户的测度方法 覆盖率：实际检出的相关文献中用户一致的相关文献所占比例 新颖率：检出的相关文献中用户未知的相关文献所占的比例 * 图示覆盖率和新颖率 相关文献|R| 结果集|A| 用户已知的相关文献|U| 检出的用户以前未知的相关文献|Ru| 检出的用户已知的相关文献|Rk| * 测试集 (Test Collections) 组成要素 文件集 (Document Set; Document Collection) 查询问题 (Query; Topic) 相关判断 (Relevant Judgment) 用途 设计与发展: 系统测试 评估: 系统效能(Effectiveness)之测量 比较: 不同系统与不同技术间之比较 评比 根据不同的目的而有不同的评比项目 量化的测量准则，如Precision与Recall 国外的评测 TREC评测 文本检索会议（Text Retrieval Conference，TREC）是信息检索( IR) 界为进行检索系统和用户评价而举行的活动, 它由美国国家标准技术协会(NIST) 和美国高级研究计划局(DARPA)（美国国防部） 共同资助，开始于1992年。 NTCIR评测 NTCIR(NACSIS Test Collection for IR Systems)始于1998年，是由日本国立信息学研究所（National Institute of Informatics，简称NII）主办的搜索引擎评价型国际会议 CLEF评测 CLEF于2000年开始筹办，是欧洲各国共同合作进行的一项长期研究计划，主要想通过评测信息科技技术，促进欧洲语言中的各种单一语言以及多语言信息技术的发展， CLEF的目标只在于跨语言信息检索以及多语言信息检索方面 * TREC评测(Benchmark) TREC: Text REtrieval Conference (/) 1992年开始，每年一次 由美国国防部Defense Advanced Research Projects Agency (DARPA)和美国国家标准技术研究所National Institute of Standards and Technology (NIST)联合发起 参加者免费获得标准训练和开发数据 参加者在参加比赛时收到最新的测试数据，并在限定时间内作出答案，返给组织者 组织者对各参赛者的结果进行评价 包括检索、过滤、问答等多个主题 * Document Format Standard Generalized Mark-up Language, SGML DOC DOCNOWSJ880406-0090/DOCNO HLATT Unveils Services to Upgrade Phone Networks Under Global Plan /HL AUTHORJanet Guyon (WSJ staff) /AUTHOR TEXT American Telephone Telegraph Co. introduced the first of a new generation of phone services with broad implications for computer and communications . . /TEXT /DOC * TREC会议的评价测度 概括表统计 准确率-召回率平均值 文献级别平均值 平均准确率 * 国内863评测介绍 全名： 863计划中文信息处理与智能人机接口技术评测 组织者：国家高技术研究发展计划（863计划） 方式 通过网络进行 各单位在自己的环境中运行参评系统 2005年11月召开研讨会 2005年度评测内容 机器翻译 信息检索 语音识别 * 863评测介绍—信息检索评测 项目：相关网页检索 任务定义：给定主题，返回数据中与该主题相关的网页。 数据：CWT100g (中文Web测试集100g) 根据天网搜索引擎截止2004年2月1日发现的中国范围内提供Web服务的1,000,