文本分类方法总结.docVIP

文本分类方法总结 李荣陆 (复旦大学计算机与信息技术系，上海，200433) E-mail: lironglu@163.net 一、Swap-1方法 1，特点： 特征选择：将只在某一类中出现的词或短语作为这一类的特征，词频作为权重。 二、n-gram方法 1，N-Gram-Based Text Categorization （1）特点： n-gram项的生成：为了得到字符串中结尾部分的字符串，对不够n的字符串追加空格。如：Text的3-gram项为_Te、Tex、ext、xt_、t__。 类的表示：先计算类别中所有训练文本的n-gram项的词频，然后按词频对其由大到小进行排序，最后保留从第n（实验中等于300）项开始的k个n-gram项作为此类的特征值。 相似度计算： （2）优点：容错性强，可以允许文本中有拼写错误等噪声。 （3）用途： 区分测试文档是何种语言，即语言分类； 自动文本分类 2，CAN Bayes(Chain Augmented Naive Bayes) Bayes分类器是一个性能很好的线性分类器，但是它假设文档的每个分类特征属性间是相互独立的，这显然是不成立的。假设di={wi1,wi2,…,win}为一任意文档，它属于文档类C={c1, c2,…, ck}中的某一类cj。根据Bayes分类器有： ，其中。 如果使用Bayes网络来描述特征属性间的联系，则失去了Bayes模型的简单性和线性特征。我们使用了统计语言学中的N-Gram模型，它假设一个词在文档中某个位置出现的概率仅与它之前的n-1个词有关，即： 。 我们可以得到在某个类别c的文档集中，w1,w2,…,wT出现的概率为： 。 那么，Bayes的分类决策函数就可以变为： 。 这样放松了Bayes模型中每个特征属性相互独立的假设，在计算一个文档在某个类别中的概率时考虑了文本中一些特征属性间的相互联系。对于文档中的特征属性wi，我们使用N-Gram的方法进行生成，这样使特征属性生成的过程独立于领域、与时间和词典无关，分类器对词法方面的噪声不敏感。 直观地来说，概率的最大似然估计可以从语料中N-gram项的观察频率得到： 其中，#(.)代表特定N-Gram项在训练语料中的观察频率。但是，许多n-gram项在训练语料中没有出现过，即数据稀疏问题，这时我们不能简单地将这些n-gram项对应的概率值置为0，需要使用一些平滑技术来估计这些概率以处理数据稀疏问题，常用的方法是使用“回退”评估。 其中， 是一个折扣概率，是一个归一化因子，可以使用下式计算： 折扣概率可以通过不同的平滑方法来计算，如：线性平滑、绝对平滑、Good-Turing平滑和Witten-Bell平滑。 绝对平滑（Absolute smoothing） 其中，b是一个常数，定义为，ni是训练集中发生了i次的事件数。 线性平滑（Linear smoothing） 其中，Z是训练集中所有唯一n-gram项的数目。 Good-Turing平滑（Good-Turing smoothing） ，其中，。 Witten-Bell平滑（Witten-Bell smoothing） ， 其中，W是能够跟在后的唯一的特征词，对于n-gram来说，对应于整个词表的大小。（W is the number of distinct words that can follow in the training data. In the uni-gram model, this corresponds to the size of vocabulary.） 拉普拉斯平滑（Laplace smoothing） ，其中 3，使用N-Gram项作为中文文本分类特征 假设训练文档库D有ND个文档，每个文档平均包含Ns个句子，而句子的平均长度为Ls，则这个训练文档库包含的N-Gram最多达NDNsLs(Ls+1)/2。N-Gram项非常丰富。这提醒我们，在用N-Gram项进行文档分类时，必须有所选择。从另一方面来看，文档分类是面向语义的操作，因此，用于文档分类的文档属性应该能够尽可能地表现文档的语义。显然，并不是所有出现在文档中的N-Gram项都对分类有用。一个N-Gram项对分类的有用性，或者说分辨能力，可以从三个方面来衡量：频度、分散度和集中度。下面分别给出它们的定义。 定义1 在文档d中，N-Gram项t的频度用它在d中出现的次数tf表示。 定义2 在文档类c中，N-Gram项t的分散度用c中包含t的文档数目df表示。df越大，则t在c中越分散；反之，越不分散。 定义3 在文档集D中，N-Gram项t的集中度用D中包含t的文档类数目cf表示。cf越小，则t在D中的越集中；反之，越不集中。 直观地，对于N-Gram项t，其在文档中的频度