信息管理与信息系统第9章.pptVIP

9.6.6 关于C-TREC的一些思考 国内著名学者曾民族先生等对C-TREC的建设提出设想，并就一些具体的建立进行讨论。建议（曾民族等，2001）包括： 把“筹建中文信息检索评测体系（C-TREC）”作为国家级重要研究课题来设立； 建立准官方、权威性的C-TREC评测体系的常设机构； 着手筹建C-TREC的试验基础设施，包括确定试验语料库、制定竞赛规则、明确测试项目等。 * 9.6.6 关于C-TREC的一些思考 信息检索研究论坛（http：//）：北京大学网络实验室和北京大学计算语言学研究所从2004年6月建立，以大规模中文Web信息为测试集； 中文Web信息检索论坛（Chinese Web Information Retrieval Forum，CWIRF）：正在致力于建立大规模的中文Web测试集，推动中文信息检索技术的进步和发展； 有关信息检索的人物、杂志、会议介绍可以参考：中国科学院计算所（http：//8/index.htm）；北京大学网络与分布式实验室（http：///IR-Guide.txt）。 * 9.3.2 系统效益指标 情报检索系统的效益包括社会效益和经济效益，综合体现在以下方面： 信息和知识的传播速度； 信息资源的有效利用率； 节省获取信息的时间和费用； 改进决策方式，提高决策水平； 避免重复研究； 促进新发明新发现的产生，提高科研效率。 * 9.3.3 费用／效果指标 对用户来说，接受检索服务时需要支付的费用或成本可能有以下几种：检索服务收费，或检索工具或数据库的订购费；学会使用某系统所付出的时间和精力；检出信息时所付出的时间和精力；其他费用（如交通费等）。 相应地，系统的费用／效果水平可分别表示为： 检出每条相关记录的单位成本； 检出每条新的相关记录的单位成本； 获得每篇相关文献原文的单位成本。 * 9.3.4 费用／效益指标 系统经营者为了向用户提供具有一定质量的服务和产品，必须投入一定数量的资源，如系统设备费、系统研制开发费、数据库购置费和建设费、系统运营维持费、广告费、培训费、房租水电费等。它的收益包括用户缴纳的检索费，出售有关产品能和服务的收入等。由于普遍缺乏对信息产品和服务费用的实际计算，各系统的费用开支很少公开，而且缺乏较完善的信息价格政策，信息服务的价格常被扭曲，所以，计量费用／效益比的难度很大。 * 9.3.5 Web检索系统性能评价存在的问题 Web检索系统性能评价存在的问题 （1）指标没有量化，常常是搜索引擎之间定性的比较； （2）指标体系不完善，要么是指标不能全面反映搜索引擎的总体状况，要么是权重的得出主观性太强； （3）指标体系无法操作或无法长期进行跟踪。 * 第四节 信息检索评价过程与方法 9.4.1 确定评价对象及目标 1 9.4.2 选择评价方式 2 9.4.3 设计评价方案 3 3 9.4.4 实施评价方案 4 5 * 9.4.1 确定评价对象及目标 对象可以是整个系统、几个系统或其中的某些子系统。评价目的可以是测定系统的性能或费用／效果水平，或检验某种假设、观点，某种关系。评价范围可以使全面性的或局部性的，通常表示为问题大纲，既要通过评价来回答的问题。评价者一定要与委托人充分讨论、协商，明确委托人的目标和要求。 * 9.4.2 选择评价方式 可以采用的评价方式有： 单系统调查分析法； 多系统比较分析法； 问卷调查法； 检索试验评价法。 * 9.4.3 设计评价方案 设计评价方案是信息检索评价成功的关键。设计时要考虑的方面有：需获得哪些数据？采用哪些评价指标（即设定哪些变量）？采用什么方法去获得有关系统性能的定性描述和定量描述？如何分析各种性能与特定变量之间的关系？ 必须确保评价结果能准确的反应系统的性能和回答委托人提出的各种问题。 * 9.4.4 实施评价方案 以检索试验评价法为例，介绍其实施步骤如下： （1）取样。 （2）测试。 （3）数据收集与记录。 （4）数据处理分析。 （5）评价结果分析和解析。 （6）改进系统性能与效益。 * 第五节 经典的信息检索评价实验 9.5.1 MEDLARS系统评价实验 1 9.5.2 Cranfield试验 2 9.5.3 SMART检索试验 3 9.5.4 STAIRS工程 4 9.5.5 WRU检索实验 5 9.5.6 SDI服务评价 6 9.5.8 讨论 8 7 9.5.7 手工与联机回溯检索的费用／效果比较 * 9.5.1 MEDLARS系统评价实验 试验方法和过程介绍如下： （一）选取试验用的提问集合 （二）检索 （三）向用户提交检索结果 （四）用户填写“相关性评估表”。 （五）初步统计分析 * 9.5.1 MEDLARS系统评价实验 MEDLARS