基于改进TFIDF的文本特征选择算法.pdfVIP

基于改进TFIDF的文本特征选择算法 杨成成。贺兴时 西安工程大学．西安710048 E—mail：yangccl2341234@sina．O--Olll 摘要：在中文文本自动分类系统中，文档通常采用向量宅间模型(VSM)表示，所有文档属件构成一个高维度的属性宅间， 而在文本分类中高维度的特征守问足一个难以解决的问题。TFIDF足文档特征权值表示常用方法，该方法简单易行，但传统 的TFIDF没ff考虑特征词项存符个类之间分布的不均衡性，本文对TFIDF特征选择算法进行了深入的分析，并基于基尼指数 原理提出了一种新的TFIDF特征选择算法，实验结果表明，改进后的算法可以有效地提高文本分类的精确度。 关键词：文本分类，特征选择，TFIDF，基尼指数 ATextFeature Based Selection on TFIDF AlgorithmImproved He ChengchengYang，Xingshi Xi’an 710048，China PolytechnicUniversity，Xi’an E—mail：yangccl2341234@sina．tom Abstraet：InChinesetext most classifiersvector attributesofdocuments categorizationsystem，for using sp。Beemodel(VSM)．a11 constructa dimensionalfeature the offeattireiSthebottleneck iSa high space．Andhighdimensionalityspace terms kindofcommonmethodsusedtOmeasurethe inadocument．Themethodis butit doesn’tconsidertheunbalance easy distributionofterms classes．This theTFIDFfeatureselection anewTFIDF among paperanalyzed algorithmdeeply．andproposed featureselectionmethodbasedonGiniindex resulBshowthemethodisvalidin the oftext theory．ExperimentaI ireprovingaceuracy categorization． Words：Text selection，TFIDF．Giniindex Key categorization，feature 空间。特征选择是在原有属性空间中，基于某种优化准 1 引言 则，选择特征子集的过程，这个过程不产生任何新的特 征以降低特征空间的维数。文本分类中几种