信息检索系统评价精品.pptVIP

■提问 试解释信息检索系统的内涵 2什么是”评价”?  第十一章信息检索系统评价 111评价研究概述 意义 ■评价( Evaluation):发现和收集关于某种活动的数据, 从中判断该项活动的质量及达到预期目标程度的行为。 简单地说,评价就是对系统的价值和效率进行测评 ■信息检索系统评价:根据给定的指标体系,采用一定的方 法和程序,对信息检索系统的功能、特性和运营状况进行 评测,或对有关假设、预期效益、性能值进行验证,以确 定系统达到了何种水平、投入成本是否值得、是否可以改 进和如何改进,乃至系统是否应生存下去。  第十一章信息检索系统评价 111评价研究概述 意义 信息检索系统的评价研究,一直是信息检索领域的一项 重要研究内容。多年来人们进行了大量的评价试验和多角度 的探索。 原因在于,检索系统评价工作在为研究者验证检索系统 效益、比较各种检索技术的优劣、改进现有检索系统、开发 新的应用领域等方面,都具有不可替代的作用  第十一章信息检索系统评价 111评价研究概述 意义 主要意义 了解已有检索系统的功能,找出缺陷并改进; 比较各种检索系统的优劣; ■提高提高效率和效益; 有助于新的检索系统的设计; 丰富信息检索的理论。  第十一章信息检索系统评价 111评价研究概述 、评价范围与类型 信息检索系统是一个有众多功能模块组成的集合体 评价可以从不同角度、基于不同目的和方法来进行。 ■评价范围:各种类型的检索系统及组成要素。 评价类型 ●宏观评价:着眼于检索系统的宏观方面,如情报源类型、系统 结构、收录范围、利用率等 个别评价:仅对系统的某一性能、功能进行评价 性能评价( performance evaluation):面向用户的评价,测定检 索系统的质量或服务效果。也称为检索效果评价( effectiveness evaluation)。  第十一章信息检索系统评价 111评价研究概述 评价范围与类型 评价类型 效益评价( benefits evaluation):测定系统或用户获得的的 经济效益和社会效益。(有直接的、潜在的;难以直接计量) 费用/效果评价( cost effectiveness evaluation):考察系统 达到的性能与费用消耗之间的关系。(用户、系统两方面) ●费用/效益评价( cost benefits evaluation):考察系统的服务 效益与费用消耗间的关系。(计量难度较大) (详见P207的解释)  第十一章信息检索系统评价 112评价指标 评价指标体系 要评价一个检索系统,必须有一套科学的评价标准 建立检索系统评价指标体系应遵循的原则: 各指标应定义单一、明确,具有可操作性 评价指标最好能够量化或计量。 指标要完善、细致、全面。 下面给出传统检索系统评价指标体系模型:(供参考)  第十一章信息检索系统评价 112评价指标 综合指标体系 系统费用数据质量 检索性能用户费用 研运收可使检灵查查响新可存学 录鞘用兖活剑准应颖贮习 验 费费范性\/性率率时性取用用 用用围便形 间性开 逐一评价这些指标,可以判定检索系统的优劣。其中,比较重要的 是检索性能指标  112评价指标 问题 什么是查全率、查准率?  第十一章信息检索系统评价 112评价指标 、主要性能指标及分析 1.查全率和查准率 ■查全率( Recall ratio,R):衡量一次检索中与提问相关的 文献有多少篇被检出。(衡量检出相关文献的能力) R 检出的相关文献量 数据库中的相关文献总量