中文文本分类中特征提取算法研究TFIDF.docVIP

3.2 TFIDF 3.2.1特征项频率(Term Frequency: TF 特征项频率是指特征项在文档中出现的次数。特征项可以是字、词、短语,也可以是经过语义概念词典进行语义归并或概念特征提取后的语义单元。不同类别的文档,在某些特征项的出现频率上有很大差异,因此频率信息是文本分类的重要参考之一。在最初的文本自动分类中,文档向量就是用TF 来构造的。 3.2.2反文档频率(Inverse Document Frequency:IDF 单纯使用TF 往往会导致两个方面的问题,一方面:文档中大量出现一些对分类没有贡献的虚词如:感叹词,介词,连词等,这些词如果出现频率过大,在特征提取的时候将这些词选做了特征词条,而对分类产生负面的影响。另一个方面是:特征词的好坏是看能否代表类和文档的属性,TF 值高的特征词,如果在所有的文档中TF 值都高,那就很难说这样的特征词到底代表哪个文档。因此单纯使用 TF 是有很大的局限性的,人们往往将反文档频率IDF [27]和TF 结合使用。 1972年,Spark Jones 提出计算文献频率有助于计算词权重,从此,Inverse Document Frequency(IDF公式在信息检索中占据重要地位[28]。反文档频率是特征项在文档集分布情况的量化。IDF 常用的计算方法为: ((n N log t idf = (3.10 其中 N 为文档集中的总文档数,n 为出现特征项t 的文档数。 IDF 算法的核心思想是,在大多数文档中都出现的特征项不如只在小部分文档中出现的特征项重要。 IDF 算法能够弱化一些在大多数文档中都出现的高频特征项的重要度,同时增强一些在小部分文档中出现的低频特征项的重要度。 一个有效的分类特征项应该既能体现所属类别的内容,又能将该类别同其它类别相区分。所以,在实际应用中TF 与IDF 通常是联合使用的。TF 与IDF 的联合公式如下[29]:(其中i 代表类别号: (((t idf t tf t Weight TFIDF ×= (3.11 在很多情况下还需要将向量归一化,TFIDF 的归一化计算公式[30]如下(其中n 表示类别i 中特征项的总个数; (∑== n 1 j j i i TFIDF tfidf tfidf t Weight 2 ( (3.12 3.2.3TFIDF 的不足 TFIDF 的主要思想是:如果某个词或短语,在一个文档中出现的频率TF 高,并且在其它文档中很少出现,则认为此词或者短语具有很好的类别区分能力,适合用来进行分类;IDF 的主要思想是:如果包含词条t 的文档越少,也就是n 越小, IDF越大,则说明词条t具有很好的类别区分能力。如果某一类i C中包含词条t 的文档数为m,而其它类包含t的文档总数为k,显然所有包含t的文档数n =m + k,当m大的时候,n也大,按照IDF公式(3.10得到的IDF的值会小,则表示该词条t类别区分能力不强。但是实际上,m大,说明词条t在i C类的文档中频繁出现,就 C类的文本特征,应该赋予较高的权重并选作该类文说明t词条能够很好地代表 i 本的特征词。这就是IDF没有考虑特征词在类间分布的一个方面;另一方面,虽然包含t的文档数n较小,但是如果其均匀分布在各个类间,这样的特征词不适合用来分类,应该赋予较小的权重,可按照传统的TFIDF算法计算其IDF值却很大。存在这些缺点的原因主要是因为:传统的特征权重算法TFIDF是将文档集作为整体来考虑的,特别是其中IDF的计算,并没有考虑到特征项在类间的分布情况。 以上是特征词在类间的分布情况,而类内部的分布情况又是怎样呢?同样是集中分布于某一类别的不同特征项,类内分布相对均匀的特征项的权重应该比分布不均匀的要高,因为如果某一特征项只在某个类别的一两篇文档中大量出现,而在类内的其它文档中出现得很少,那么不排除这一两篇文档是该类别中特例的情况,因此这样的特征项不具备代表性,权重相对较低,对于这种情况,传统的TFIDF 算法也不能很好地处理。 这里通过一个很小的文档集来说明上述问题。假设有三个类别,每个类别各5 t,2t,3t。 篇文档,只考虑三个特征项 1 表3.1为特征项在各篇文档中出现的频率。表3.2为传统TFIDF算法的权值计算结果。 表3.1 各个特征项的出现频率 表3.2 特征权重计算结果(TFIDF 从表3.1中可以看出:1t 只是在类1中的文档出现,分类能力应该最强,而2t 在三个类中均匀分布,对分类基本没有信息贡献,因此其分类能力应该最弱。但从表3.2的结果来看,2t 的权值却非常高。这是因为根据TFIDF 算法的定义,特征项的权重由TF 和IDF 决定。当文档集中包含特征项1t 、2t 的文档数相同时,这些特征项的IDF 相同,特征项的权重由TF 唯