文档评分与向量空间模型课件.pptVIP

* 词袋(Bag of words)模型 不考虑词在文档中出现的顺序 John is quicker than Mary 及 Mary is quicker than John are 的表示结果一样 这称为一个词袋模型(bag of words model) 在某种意思上说，这种表示方法是一种“倒退”，因为位置索引中能够区分上述两篇文档 * 。 * 词项频率 tf 词项t的词项频率 tft,d 是指t 在d中出现的次数 下面将介绍利用tf来计算文档评分的方法 第一种方法是采用原始的tf值(raw tf) 但是原始tf不太合适： 某个词项在A文档中出现十次，即tf = 10，在B文档中 tf = 1，那么A比B更相关 但是相关度不会相差10倍 相关度不会正比于词项频率tf * 。 * 一种替代原始tf的方法: 对数词频 t 在 d 中的对数词频权重定义如下： tft,d → wt,d : 0 → 0, 1 → 1, 2 → 1.3, 10 → 2, 1000 → 4, 等等 文档-词项的匹配得分是所有同时出现在q和文档d中的词项的对数词频之和(1 + log tft,d ) 如果两者没有公共词项，则得分为0 * 。 提纲 排序式检索 词项频率 tf-idf权重计算 向量空间模型 * 。 * 文档中的词频 vs. 文档集中的词频 哪种词重要？ 的 了 水果 火龙果 刘翔 体育 苏州大学 计算机学院 除词项频率tf之外，我们还想利用词项在整个文档集中的频率进行权重和评分计算 * 。 * 罕见词项所期望的权重 罕见词项比常见词所蕴含的信息更多 考虑查询中某个词项，它在整个文档集中非常罕见 (例如 赫尔辛根默斯). 某篇包含该词项的文档很可能相关 于是，我们希望像“赫尔辛根默斯”一样的罕见词项将有较高权重 阿尔代夫 海滩 马路 * 。 * 常见词项所期望的权重 常见词项的信息量不如罕见词 考虑一个查询词项，它频繁出现在文档集中 (如 GOOD, INCREASE, LINE等等) 一篇包含该词项的文档当然比不包含该词项的文档的相关度要高 但是，这些词对于相关度而言并不是非常强的指示词 于是，对于诸如GOOD、INCREASE和LINE的频繁词，会给一个正的权重，但是这个权重小于罕见词权重 * 。 * 文档频率(Document frequency, df) 对于罕见词项我们希望赋予高权重 对于常见词我们希望赋予正的低权重 接下来我们使用文档频率df这个因子来计算查询-文档的匹配得分 文档频率指但是出现词项的文档数目 * 。 * idf 权重 dft 是出现词项t的文档数目 dft 是和词项t的信息量成反比的一个值 于是可以定义词项t的idf权重: (其中N 是文档集中文档的数目) idft 是反映词项t的信息量的一个指标 值得注意的是，对于tf 和idf我们都采用了对数计算方式 * 。 * idf的计算样例（inverted document freq） 利用右式计算idft: 词项 dft idft calpurnia animal sunday fly under the 1 100 1000 10,000 100,000 1,000,000 6 4 3 2 1 0 * 。 * idf对排序的影响 idf 会影响至少包含2个词项的查询的文档排序结果 例如，在查询 “马尔代夫 海滩”中, idf权重计算方法会增加 马尔代夫 的相对权重，同时降低 海滩 的相对权重 对于单词项查询,idf对文档排序基本没有任何影响 * 。 * 文档集频率 vs. 文档频率 词项t的文档集频率(Collection frequency) : 文档集中出现的t词条的个数 词项t的文档频率: 包含t的文档篇数 为什么会出现上述表格的情况？即文档集频率相差不大，但是文档频率相差很大 哪个词是更好的搜索词项？即应该赋予更高的权重 上例表明 df (和idf) 比cf (和“icf”)更适合权重计算 单词 文档集频率 文档频率 INSURANCE TRY 10440 10422 3997 8760 * 。 * tf-idf权重计算 词项的tf-idf权重是tf权重和idf权重的乘积 信息检索中最出名的权重计算方法 注意：上面的 “-”是连接符，不是减号 其他叫法：tf.idf、tf x idf * 。 * tf-idf小结 词项t在文档d中的权重可以采用下次计算 tf-idf权重 随着词项频率的增大而增大 随着词项罕见度的增加而增大 * 。 提纲 排序式检索 词项频率 tf-idf权重计算 向量空间模型 * 。 * 二值关联矩阵 每篇文档表示成一个二值向量∈ {0, 1}|V| Anthony and Cle