SVM文本分类中一种新的特征提取方法.pdfVIP

第 20 卷 　第 3 期 计 算 机 技 术 与 发 展 Vol . 20 　No . 3 20 10 年 3 月 　　　　　　　　　 　　　　　　　　 Mar . 　20 10 COM PU TER TECHNOL O GY AND D EV EL OPM EN T SVM 文本分类中一种新的特征提取方法 姜 　鹤 ,陈丽亚 (上海交通大学 电子信息与电气工程学院 ,上海 200240) 摘 　要 :随着互联网的迅速发展 ,面向重要网络媒体海量发布信息实现智能分类 ,对于网络信息监管、舆论引导工作有着 深远的意义 。文中针对在文本分类中的特征选取问题 ,描述了一种基于法矢量权重的特征评价和选取方法 。将此方法与 SVM 学习算法进行结合 ,在路透社标准文本测试集上进行了对比评估 。实验结果显示 ,此特征选取方法相对于传统的特 征选取方法可以产生更优的分类性能。此特征提取方法提供一种有效的途径 ,在基本保持分类器性能的前提下显著地减 少特征空间的维数 ,进而提升系统的资源利用效率 。 关键词 :文本分类 ;特征提取 ;支持向量机 ;资源受限 ( ) 中图分类号 : TP181 　　　　　　　文献标识码 :A 　　　　　　　文章编号 : 1673 - 629X 20 10 03 - 00 17 - 03 A Ne w Feature Selection Method in SVM Text Categorization J IAN G He ,CHEN Liya ( School of Information and Communication Engineering ,Shanghai J iaotong University , Shanghai 200240 ,China) Abstract :Wit h t he rapid develop ment of Internet ,it has momentous significance for t he task of t he surveillance and management of net work and leading t he public to carry out t he intelligence classification of t he massive amount of information t hat released b y t he important network medium . This paper describes a feature selection met hod based on t he weight of normal from SVM model . U sing t his feature scoring met hod wit h SVM learning algorit hm on standard Reuter s test set to compare ot her t raditional feature selection met hod : Odds Ra tio , Information Gain . Experimental result s show t hat t he normal weight based met hod yield better classification performance . This fea ture selection met