【信息检索课件】信息检索效果.pptVIP

4-3 Information Retrieval Effectiveness 信息检索效果的概念和研究状况 检索效率指标 提高检索效率的措施 思考题 一、信息检索效果的概念和研究状况 信息检索效果是利用检索系统进行检索所产生的有效结果。 Cranfield试验及其主要结论 ⑴ UDC、标题语言、元词语言和专业组面分类法等4种索引语言性能相差无几。 ⑵ 如果同时考虑查全率和查准率两个性能，那么检索效果最好的是自然语言。 ⑶ 收录范围、查全率、查准率、响应时间、用户负担和输出形式等6项是评价检索效果和检索系统的主要指标。 ⑷ 查全率与查准率存在互逆相关关系。 王云等对截词检索、条件检索、关键词检索、分类号检索、作者检索、期刊检索及其检索效果等进行了实证研究。 What to Evaluate? What can be measured that reflects users’ ability to use system? Coverage of information Form of presentation Effort required/ease of use Time and space efficiency Recall Proportion of relevant material actually retrieved Precision Proportion of retrieved material actually relevant 二、检索效率指标 检索效率是指评价检索系统性能和质量的各种比率。包括查全率、查准率、新颖率、检索速度、检索方便性和成本效益比等。 F·W·Lancaster 2×2表： 1、Recall ratio 查全率：检出的相关文献数与系统内的相关文献总数之比（W·佩里和A·肯特，1956）。 R＝检出的相关文献/文献内相关文献总数×100%。漏检率＝未检出的相关文献数/文献库内相关文献总数×100%。 在公式中，a值经过一次检索即可确定，而c值即漏检文献数一般可以用下列4种方法测定出来：(1)若n值不大，逐篇鉴别各篇文献；(2)若n值很大，可对检出的文献随机抽样；(3)由有经验的用户去鉴别检出的文献；(4)通过不同途径去检索同一课题的文献，把各次检出的文献加在一起，剔除重复，形成一份较完整的相关文献清单，以此对比每次检出的相关文献，即可知道相应的c值。 2、Precision ratio 查准率：检出的相关文献数与检出的文献总数之比，它是衡量一个检索系统的信号噪声比，测度检索系统拒绝非相关文献能力大小的一项指标(佩里和肯特，1956)。 P=检出的相关文献数/检出的文献总数×100%。与此相应，我们称系统检出的非相关文献数与检出的文献总数的比率为误检率(Noise ratio)，其值为b/a+b，它是查准率的补数。 Relevant vs. Retrieved 3、R-P关系 C·W·Cleverdon指出，在同一个检索中，当R和P达到一定阀值，即查全率为60~70%，查准率为40~50%后，二者呈互逆相关。 (1) Get as much good stuff while at the same time getting as little junk as possible； (2) There is a tradeoff between Precision and Recall； (3) So measure Precision at