情報検索システムの評価法.pptVIP

情報検索システムの評価法 評価法 再現率、適合率 F値など 一般的な検索結果の状態 質問ｑで結果の文書集合が得られた。しかし、結果の中には間違いもあるし、得られなかった文書の中にも正解がありうる。 検索エンジンの性能評価 再現率 適合率あるいは精度 精度とは右の定義の場合もあり フォールアウト 一般性 再現率　ｖｓ　適合率 よく使う評価の表現法 再現率　ｖｓ　適合率に関連した尺度 Break even point 　　再現率と適合率が一致する点 11点平均適合率　再現率＝0.0 , 0.1, 0.2, ….. 0.9, 1.0 の11点における適合率の平均値 F値　　ただし、ｂは適合率が再現率よりどれだけ重視されているかを示すパラメタ 普通はＦ値というと、b=1の場合で、この場合はprecision:pとrecall:rの幾何平均 順位つき検索結果の評価 ブーリアン検索では検索結果は全て同等 ベクトル空間法やPageRank、HITSでは検索結果が質問に適合した順番に並ぶ。（表示も適合順） この場合の評価法について Recall , Precision 質問qに適合する結果（以下、正解、という）の数： |Dq | 検索エンジンの順位つけられた結果:　　(d1…….dn) di が質問qへの正解なら　ri=1、　そうでなければ ri=0 　　とする。すると、 第k順位まで拾ったときの 平均適合率：average precision 例： 平均逆順位：Mean Reciprocal Rank(MRR) 例 テストコレクション (a) 文書集合、(b) 多数の質問、(c)各質問に対する適合文書の集合、を組にしたデータベースをテストコレクションと呼び、情報検索システムの性能評価において必須の資源である 正解集合を作ることは大規模テストコレクションでは困難 Pooling method:、 同一の文書集合に対して、多数の検索エンジンで同じ質問を出し、上位N 個の検索結果を全て集める。N の値として、100 程度が多い。この結果に対してのみその適合性を人手で判断し、それを文書集合全体における適合した文書とする * 文書集合全体 質問qで検索された文書 質問ｑに適合している 文書 fn fp tp tn 再現率 適合率 ０ ０．５ １．０ １．０ ０．０ 〇 ４ ６ ５ ３ ２ 〇 １ 正解か 順位 〇 ４ ６ ５ ３ ２ 〇 １ 正解か 順位 *