基于向量空间模型的文本分类.docxVIP

基于向量空间模型的文本分类 在向量空间模型中，文档以由 n 个词组成的向量表示（这些词从文档集中选取得到） ，词也可以由 m 篇文档组成的向量表示。在实际使用中，用“文档向量矩阵” X 能最好的代 表这种对偶的信息表示，其中一列  X j 代表一个词、一行  X i  代表一篇文档： x11  x12  x1n  X1 x21  x22  x2 n  X 2 X  ( X  1 , X  2 ,  , X  n ) xm1  xm2  xmn  X m 矩阵中的元素  xij  ，一般表示词  j 在文档  i 中出现的频数； 也可以根据其他因素调整它的权重 。比如，以反向文档频率（ IDF: Inverse Document Frequency ）调整： xij tf ij * log(m / df j ) 其中，文档频数 df j 是出现词 j 的文档数量。说明一下，由于一个词只会在很少的文档中出 现，因此矩阵 X 中的大多数元素都会是零。 信息检索的典型处理方式就是关键字匹配。用户提出一个查询 q，然后用和文档一样的方式， 把它看成一个由关键字组成的向量。 通过计算查询向量和文档向量之间的点积 （对向量的规一化消除文档长度的影响） ，可以得出两者之间的相似度。所有 m 篇文档的相似度可 以构成一个向量  s( s  XqT  )，查询  q 的相关文档就可以根据这个指标排序并返回给用户。 文本分类，就是把新的文档归到已有的类别体系中去。有很多方法可以实现这个目的， 一种简单的分类方法是为每个类别计算一个中心向量  Ci （类中所有文档向量的平均值）  [5] 。 这些中心向量被认为是每个类别的代表。  所有  k 个类别的  k 个中心向量， 组成一个  k  n  的 矩阵  C  (c1, c2 ,  , ck ) T 。判别文档属于某个类的标准是，该文档距离哪个类别的中心向量 更近。其他的方法  [6]则是通过最小化误差平方和  C，来解决文本分类问题，  C 的定义如下： C arg min || CX T  B || C 其中， B  是保存训练集文档的正确类别信息的  k m 矩阵。一篇新进文档，要通过投影到变 换向量上得到与每个类的相似度，并由具体的阈值，决定其到底属于哪个类或哪几个类。 应用 LSI 模型的文本分类 在原始的“文档向量矩阵”中，存在着冗余、词语多义和噪音问题。我们希望建立一个 比原始矩阵小得多， 并只包含有效语义的子空间。 要达到这个目的， 一般可以通过有效的维数约减。 维数约减后， 冗余的信息可以合并在一起， 词语多义可以通过考虑上下文相关信息解决，把相对不重要的一些特征约去则可以部分解决噪音问题。 LSI 就是这样一种维数约减方法。它可以通过对“文档向量矩阵”进行解奇异值分解 SVD: Singular Value Decomposition ）运算，自动计算得到一个比原始空间小得多的有效语义空间： r 1 v1 X ui i vi (u1 , , ur ) i 1 rv r 其 中 ， r 是 矩 阵 X 的 阶 ， r diag 1 r 是 由 特 征 值 构 成 的 对 角 矩 阵 ， U r (u1 , , ur ) 和 Vr (v1 , , vr ) 分别是左、右特征向量。 一般 r 个特征值是按大小排序的， 当要进行特征值截取的时候， 比如只保留前 k 个最大的特征值， 下面的矩阵就是原始矩阵的非常好的近似： X U r r V rT U k k V kT 在得到的 k 维子空间中，一篇文档 X i 的投影是 X i Vk ，而所有 m 篇文档的投影就是 XVk U k k 。查询 q 的变换方式也是如此。 因此，查询 q 和文档之间的相似度计算在LSI 的子空间中就变成了： s (XV k )(qV k )T ( U k k )(V kT qT ) 维数的大量约减， 既降低了计算的复杂度也滤去了一部分噪音。 比如，求矩阵中心向量或作 矩阵变换的计算量就从 m n 变成了 m k [5] 。这样的方法在朴素贝叶斯分类模型 [7] 、KNN 模型和 SVM 模型 [8] 中都被证明是非常有效的，提高了分类模型的准确度。 LSI 成功的原因在于， LSI 得到的语义空间比原始特征空间更能表达分类必须的语义结构，部分地解决了信息检索中的同义词和文本分类中的信息冗余问题。 在数学上，通过 SVD 选取的矩阵是原始矩阵 X 在 k 阶情况下的最佳近似。从统计观点看， LSI 和主成分分析类似，是一种非常有效的维数约减方法。即：认