资讯检索系统测试集之比较.ppt

資訊檢索系統測試集之比較 測試集 (Test Collections) 組成要素 文件集 (Document Set; Document Collection) 查詢問題 (Query; Topic) 相關判斷 (Relevant Judgement) 用途 設計與發展: 系統測試 評估: 系統效能(Effectiveness)之測量 比較: 不同系統與不同技術間之比較 評比 根據不同的目的而有不同的評比項目 量化的測量準則，如Precision與Recall 測試集(Test Collections) (續) 小型測試集 早期: Cranfield 英文: SMART, OHSUMED, Cystic Fibrosis, LISA…. 日文: BMIR-J2 大型評比環境: 提供測試集及研討的論壇 美國: TREC 日本: NTCIR, IREX, 歐洲: AMARYLLIS Cranfield II 比較33種不同索引方式之檢索效益 蒐集1400篇有關太空動力學的文件(摘要形式) 請每位作者根據這些文件與其當時研究的主題提出問題，經篩選後產生200餘個查詢問題 Cranfield II (Continued) Cranfield II測試集中相關判斷建立四個步驟 首先請提出查詢問題的建構者對文件後所附之引用及參考文獻進行相關判斷 接著請五位該領域的研究生將查詢問題與每篇文件逐