中文文本分类中的特征选择研究.pdfVIP

中 文 信 息 学 报 第 卷 第 期 ! # !#$%’ ( )*+%,-, +%($./+% 0$),--+%1 234 $ ! %3 $# 文章编号： （ ） !%%# %%’’ (%%) %# %%!’ %’ 中文文本分类中的特征选择研究! 周 茜，赵明生，扈 旻 （清华大学 电子工程系，北京 !%%%) ） 摘要：本文介绍和比较了八种用于文本分类的特征选择方法，其中把应用于二元分类器中的优势率改造 成适用于多类问题的形式，并提出了一种新的类别区分词的特征选择方法，结合两种不同的分类方法：文本相 似度方法和*+,-. /+0.1 方法，在两个不同的数据集上分别作了训练和测试，结果表明，在这八种文本特征选择 方法中，多类优势率和类别区分词方法取得了最好的选择效果。其中，当用*+,-. /+0.1 分类方法对各类分布 严重不均的!#2% 样本集作训练和测试时，当特征维数大于%%% 以后，用类别区分词作特征选择得到的宏3! 值比用 作特征选择得到的宏 值高出 左右。 45 3! #6 7 8 6 关键词：计算机应用；中文信息处理；文本分类；特征选择；类别区分词 中图分类号： 文献标识码： 9:#2! ; -5678 39 (:;56: -:4:=539 9 )?9:@: /:A5 );5:B3C;539 ， ， =? @A+B =; CABDE1F.BD =? GAB （ ， ， ， ） H.I+JKG.BK LM NO.PKJLBAP NBDAB..JABD 91ABDFQ+ ?BA-.J1AK0 /.ARABD !%%%) SFAB+ ： D@5;=5 9FA1 I+I.J ABKJLTQP.1 +BT PLGI+J.1 .ADFK M.+KQJ. 1.O.PKALB G.KFLT1 AB K.UK P+K.DLJAV+KALB W ;GLBD KF. .ADFK G.KFE ， （ ）， ， LT1 CQOKAESO+11 TT1 X+KAL CSEX + -+JA+BK LM TT1 X+KAL YFAPF A1 LMK.B Q1.T AB ZAB+J0 PO+11AMAP+KALB +BT + B.Y M.+E KQJ. 1.O.PKALB G.KFLT Z+1.T LB SO+11EHA1PJAGAB+KABD [LJT1（ ） SH[ +J. IJLIL1.T W SLGZAB.T YAKF KF. PO+11AP \]C PO+11AMA.J ， Z+1.T LB PL1AB. 1AGAO+JAK0 +BT KF. *+,-. /+0.1 PO+11AMA.J KJ+ABABD +BT K.1K +J. P+JJA.T LQK LB KYL K.UK 1.K1 YAKF TAMM.J.BK PO+11 ， TA1KJAZQKALB W ;1 KF. J.1QOK1 ABTAP+K. CSEX +BT SH[ D+AB KF. Z.1K 1.O.PKABD .MM.PK W ： ； ； ； ； E:8 F37@ PLGIQK.J +