Retrieval Evaluation课件.ppt

The Example Information Requests (Topics) 用自然語言將資訊需求描述出來 Topic number:給不同類型的topics top num Number:168 titleTopic:Financing AMTRAK descDescription: ….. narNarrative:A ….. /top 精品文档 TREC～Topics 主題結構與長度 主題建構 主題篩選 pre-search 判斷相關文件的數量 精品文档 TREC-6之主題篩選程序 精品文档 TREC～相關判斷 判斷方法 Pooling Method 人工判斷 判斷基準: 二元式, 相關與不相關 相關判斷品質 完整性 一致性 精品文档 Pooling法 針對每個查詢主題，從參與評比的各系統所送回之測試結果中抽取出前n(=100)篇文件，合併形成一個Pool 視為該查詢主題可能的相關文件候選集合，將集合中重覆的文件去除後，再送回給該查詢主題的原始建構者進行相關判斷。 利用此法的精神是希望能透過多個不同的系統與不同的檢索技術，盡量網羅可能的相關文件，藉此減少人工判斷的負荷。 精品文档 TREC 候選集合與實際相關文件之對照表 精品文档 Retrieval Evaluation Modern Information Retrieval, Chapter 3 Ricardo Baeza-Yates, Berthier Ribeiro-Neto 圖書與資訊學刊第29期(1999年5月), 台大圖資所碩士論文, 江玉婷，陳光華 精品文档 Outline Introduction Retrieval Performance Evaluation Recall and precision Alternative measures Reference Collections TREC Collection CACMISI Collection CF Collection Trends and Research Issues 精品文档 Introduction Type of evaluation Functional analysis phase, and Error analysis phase Performance evaluation Performance evaluation Response time/space required Retrieval performance evaluation The evaluation of how precise is the answer set 精品文档 Retrieval Performance Evaluation 評估以batch query 為主的IR 系統 collection Relevant Docs In Answer Set |Ra| Relevant Docs |R| Answer Set |A| Recall=|Ra|/|R| Precision=|Ra|/|A| Sorted by relevance 精品文档 Precision versus recall curve Rq={d3,d5,d9,d25,d39,d44,d56, d71,d89,d123} P=100% at R=10% P= 66% at R=20% P= 50% at R=30% Ranking for query q: 1.d123* 2.d84 3.d56* 4.d6 5.d8 6.d9* 7.d511 8.d129 9.d187 10.d25* 11.d38 12.d48 13.d250 14.d11 15.d3* Usually based on 11 standard recall levels: 0%, 10%, ..., 100% 精品文档 Precision versus recall curve For a single query Fig3.2 精品文档 Average Over Multiple Queries P(r)=average precision at the recall level r Nq= Number of queries used Pi(r)=The precision at recall level r for the i-th query 精品文档 Interpolated precision Rq={d3,d56,d129} P=33% at R=33% P= 25% at R=66% P= 20% at R=100% P(rj)=max ri≦ r≦ rj+1