关于文本分类中特征降维方式研究.pdfVIP

关于文本分类中特征降维方式的研究 伍建军，康耀红 (海南大学信息科学技术学院，海南海口570228) 摘 要：文本分类的一个关键点就是如何对高维的特征集进行降维。而特征降维的常用方法就是特征选择、特征抽取等。首先介 绍了几种常见的特征选择和特征抽取方法。并对这些特征降维方法的优缺点进行了分析．最后结台K-近邻分类算法对四种特征选 择方法(文档频率、互信息、CHI统计法、相关系数法)进行了分类测试，同时通过测试分析．提出了一些改进的、可行的互信息 评价函数，实验结果表明，采用这种方法，在同等训练语料的情况下，分类效果比基于传统的互信息评价函数的分类效果要好。 关键词：文本分类：特征降维；特征选择：互信息： Researchaboutfeaturedimensionreductionin text categorization Ⅵ町Jian-jun．KANGYao-hang ofInformation (College Science＆Teehnolo蚤,,HainanUniversity,Hainan．Haikou570228．China) oftext toreduea dimensionofthe Abstract：Tle ishow the featurevectors，Featureselectionandfeature keypoint categorization high offeature extractionisthemai0methadsoffeaturereducdon．Thisintrodueasfivemethods selectionandfeatureextraction．Andthen PaDer k-nearest isselectedasthe classifierto the ofthefourfeatureselection neighbor evaluating compareperformance Document intext thetest new Frequency、MutualInformalion、Chi—square、co．elationcoeffieien0categorization．Fromresult,a improved methodofFSis effective presentedbasedoaMutualInformation，andisprovedtobebyexperiment． reduction：Featureselection：Mutualinformation； Key∞rds：textcategorization；Feature 1引言 随着网络技术的高速发展，网络上的电子文档也迅速增长，如何有效地、更好地帮助用户查找、过滤、管理 这些海量数据显得越来越重要，因此文本分类(基于文档内容，把一篇新文档分类到预定义好的类别中)在许多 信息组织和管理领域中的应用越来越广泛。 文本分类大致可以分为三个步骤：文本的向量模型表示、特征抽取、分类器训练。目前大多数使用向量空间 模型对文本表示成为向量形式．而向量的属性则有可能涉及到中文中的所有词汇，其向量的维数是非常巨大的， 同时考虑到一篇文章只不过包含极少数词语(比如，一篇文档只由几百个词语组成)，可知文档表示向量的稀疏 性。这样高维的特征空间对文本分类的运算时间和空间复杂性是很不利的，因此在进行文本分类之前需要