向量空间模型(VSM).docxVIP

向量空间模型(VSM) 向量空间模型将文档映射为一个特征向量 V(d)=(t ,ω (d)；…；t , 1 1 n ω (d))，其中t (i=1,2, …,n)为一列互不雷同的词条项，ω (d)为t n i i i 在d 中的权值, 一般被定义为t i 在d 中出现频率 tf (d)的函数，即 。 i 在信息检索中常用的词条权值计算方法为 TF-IDF 函数，其中 N 为所有 文档的数目，n i 为含有词条t i 的文档数目。TF-IDF 公式有很多变种， 下面是一个常用的TF-IDF 公式： 根据TF-IDF 公式，文档集中包含某一词条的文档越多，说明它区分文档类别属性的能力越低，其权值越小；另一方面，某一文档中某一词条出现的频率越高，说明它区分文档内容属性的能力越强，其权值越大。 两文档之间的相似度可以用其对应的向量之间的夹角余弦来表示，即文 档d ，d i j 的相似度可以表示为 进行查询的过程中，先将查询条件Q 进行向量化，主要依据布尔模型: 当t 在查询条件Q 中时，将对应的第i 坐标置为 1，否则置为 0，即 i 从而文档d 与查询Q 的相似度为 根据文档之间的相似度，结合机器学习的一些算法如神经网络算法，K- 近邻算法和贝叶斯分类算法等，可以将文档集分类划分为一些小的文档子集。 在查询过程中，可以计算出每个文档与查询的相似度，进而可以根据相似度的大小，将查询的结果进行排序。 向量空间模型可以实现文档的自动分类和对查询结果的相似度排序，能够有效提高检索效率；它的缺点是相似度的计算量大，当有新文档加入时，则必须重新计算词的权值。