向量空间模型(VSM).pdfVIP

向量空间模型 (VSM) 向量空间模型将文档映射为一个特征向量 V(d)=(t 1 , ω1(d) ；…； t n , n i i i ω (d)) ，其中 t (i=1,2, …,n) 为一列互不雷同的词条项， ω (d) 为 t 在 d 中的权值 , 一般被定义为 t i 在 d 中出现频率 tf i (d) 的函数，即 。 在信息检索中常用的词条权值计算方法为 TF-IDF 函数 ，其中 N为所有 i i 文档的数目， n 为含有词条 t 的文档数目。 TF-IDF 公式有很多变种， 下面是一个常用的 TF-IDF 公式： 根据 TF-IDF 公式，文档集中包含某一词条的文档越多，说明它区分文 档类别属性的能力越低，其权值越小；另一方面，某一文档中某一词条 出现的频率越高，说明它区分文档内容属性的能力越强，其权值越大。 两文档之间的相似度可以用其对应的向量之间的夹角余弦来表示， 即文 档 di ，dj 的相似度可以表示为 进行查询的过程中，先将查询条件 Q进行向量化，主要依据布尔模型 : 当 t i 在查询条件 Q 中时，将对应的第 i 坐标置为 1，否则置为 0，即 从而文档 d 与查询 Q 的相似度为 根据文档之间的相似度， 结合机器学习的一些算法如神经网络算法， K- 近邻算法和贝叶斯分类算法等， 可以将文档集分类划分为一些小的文档 子集。 在查询过程中，可以计算出每个文档与查询的相似度， 进而可以根据相 似度的大小，将查询的结果进行排序。 向量空间模型可以实现文档的自动分类和对查询结果的相似度排序， 能 够有效提高检索效率；它的缺点是相似度的计算量大， 当有新文档加入 时，则必须重新计算词的权值。