中文信息学报中文文本分类中特征抽取方法的比较研究.pdf

　　　　　 18 1 　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol.18 No.1 :1003-0077 (2004)01-0026-07 ① 1, 2 2 2 , , (1., 　210094; 2. , 　100083) :本文比较研究了在中文文本分类中特征选取方法对分类效果的影响。 考察了文档频率DF、信息增 IG、互信息MI、χ2 分布CHI 四种不同的特征选取方法。 采用支持向量机(SV M )和KNN 两种不同的分类 器以考察不同抽取方法的有效性。 实验结果表明, 在英文文本分类中表现良好的特征抽取方法(IG、MI 和 CHI)在不加修正的情况下并不适合中文文本分类。 文中从理论上分析了产生差异的原因, 并分析了可能的 矫正方法包括采用超大规模训练语料和采用组合的特征抽取方法。 最后通过实验验证组合特征抽取方法的 有效性。 :计算机应用;中文信息处理;文本自动分类;特征抽取;支持向量机;KNN :TP18　　　:A A Comparative Study o Feature Selectio i Chi ese Text Categorizatio 1, 2 2 2 DAI Liu-ling , HUANG He-an , CHEN Zhao-xiong (1.Departm ent of Computer Science, NUST, Nanjing 210094, China; 2.Language Information Engineering, CAS, Beijing 100083, China) Abstract:This paper is a comparative stud of feature selection methods in text categorization.Four methods were 2 evaluated, including document frequenc (DF ), information gain (IG), mutual information (MI )and χ-test (CHI).A Support Vector Machine (SV M )and a k-nearest neighbor (KNN)w ere selected as the evaluating classi- fiers.We found IG, MI and CHI had poor performance in our test, though the behave well in English text catego- rization.We anal zed the reasons theoreticall and put forw arded the possible solutions.A furthermore experiment proved that the combined feature selection method is effective. Key words:computer application;Chinese information processing;text categorization;feature selection;SVM;KNN 1　 , 。, 、 。, 。, , 。 ① :2003-09-22 : :(1977—), , , . 26 。, , 。