向量空间模型vsm.docxVIP

向景空间模型将文档映射为一个特征向H V(d) = (t 1, 3 l(d)；…；t n, 3 n(d))，其中ti(i=1,2,…,n)为一列互不雷同的词条项， 3i(d)为ti 在d中的权值,一般被定义为ti在d中出现频率tf i(d)的函数，即。 熊(d)二奴如)) 在信息检索中常用的词条权值计算方法为 TF-IDF函数，其中N为所有 文档的数目，ni为含有词条t i的文档数目。TF-IDF公式有很多变种， 下面是一个常用的TF-IDF公式：g)E 京 1暇-Ml) — (竹1) 根据TF-IDF公式，文档集中包含某一词条的文档越多，说明它区分文 档类别属性的能力越低，其权值越小；另一方面，某一文档中某一词条 出现的频率越高，说明它区分文档内容属性的能力越强，其权值越大。 两文档之间的相似度可以用其对应的向景之间的夹角余弦来表示， 即文 档di, dj的相似度可以表示为 ■ 2巾皿灼) 跖(用,4)= COS = i “名缶:区))(去部(勺)) 进行查询的过程中，先将查询条件 Q进行向景化，主要依据布尔模型： 当ti在查询条件Q中时，将对应的第i坐标置为1,否则置为0,即 %-* q 从而文档d与查询Q的相似度为 . E叩d[K七 TOC \o 1-5 \h \z 所 0,4） = -pJi = st钏7）岌砰） a m z 根据文档之间的相似度，结合机器学习的一些