(一种基于的组合特征提取文本分类方法.docVIP

一种基于PCA的组合特征提取文本分类方法* 李建林1,2 (1.南京信息职业技术学院 计算机与软件学院,南京 210023;2.里贾纳大学 计算机科学系,里贾纳 S4S0A2,加拿大) 摘要：为了获得更好的文本分类准确率和更快的执行效率，研究了多种WEB文本的特征提取方法,通过对互信息(MI)、文档频率(DF)、信息增益(IG)和χ2统计（CHI）算法的研究,利用其各自的优势互补，提出一种基于主成分分析(PCA)的多重组合特征提取算法(PCA-CFEA)；首先通过PCA算法的正交变换快速的将文本特征空间降维，再通过多重组合特征提取算法在降维后的特征空间中快速的提取出更具代表性的特征项，过滤掉一些代表性较弱的特征项，最后使用SVM分类器对文本进行分类；实验结果表明PCA-CFEA算法能有效的提高文本分类的正确率和执行效率。 关键词：基于PCA的组合特征提取算法(PCA-CFEA)；主成分分析；特征提取；文本分类； 中国分类号：TP391 文献标识码：A 文章编号： A combination of feature extraction in text classification algorithm based on PCA LI Jian-lin1,2 (1. Nanjing College of Information Technology Department of ComputerSoftware, Nanjing 210023,China; 2. University of Regina Department of Computer Science ,Regina S4S0A2 ,Canada) Abstract: In order to obtain a better text classification accuracy and faster execution efficiency, study a variety of WEB text feature extraction method, based on the mutual information(MI), document frequency (DF), information gain (IG) and x 2 Statistics (CHI) algorithm, through using of their complementary advantages, proposed a combinations of feature extraction algorithm based on principal component analysis( PCA-CFEA). First ,by the orthogonal transformation of the PCA algorithm to faster dimensionality reduction of the text feature space; Then through the multiple combination feature extraction algorithm in the lower dimension of feature space fast extract more representative of the feature, filter out some representative weak feature items; Finally, using the SVM classifier to classify the text. The experimental results show that PCA-CFEA algorithm can effectively improve text classification accuracy and running efficiency. Key words: Combined feature extraction algorithm based on PCA(PCA-CFEA); Principal component analysis; Feature extraction; Text classification; 0 引言 Internet上蕴含着海量的各种类型的原始资源信息，随着Internet技术和应用的快速发展,越来越多的人使用网络来查找对自己有用的信息；如何在大量的信息源中获得有价值的模式与知识是当前WEB数据挖掘的主要目标[1]。Web文本分类是Web数据挖掘的一个重要研究课题,其主要思想是根据Web文本内容,利用从已知类别的网页集中学习到的知识,自动对一