文本分类中的特征抽取.pdfVIP

第23卷第2期 计算机应用 Vo1．23，No．2 2003年 2月 ComputerApplications Feb．，2003 文章编号 ：1001—9081(2oo3)~ -0045一o2 文本分类中的特征抽取 秦 进’，陈笑蓉 ，汪维家’，陆汝占 (1．贵州大学计算机科学系，贵州贵阳550025；2．上海交通大学计算机科学与工程系，上海200030) 摘 要：特征抽取是用机器学习方法进行文本分类的重点和难点。文中比较了目前几种最常用 的特征抽取方法，提出了一种改进型的互信息特征抽取方法。并在构建的实验 系统中比较了这几种 特征抽取方法，发现改进的特征抽取方法是有效可行的。 关键词：文本分类；特征抽取；互信息 中图分类号：TP391 文献标识码：A FeatureExtractioninTextCategorization QINJtn’，CHENXiao-rong，WANGWei-jia’，LURu-zhan。 r1．DepartmentofComputerScience,Guizhou 巧 ，GuiyangGuiz~u55~25，Chn／a； 2．DepartmentofComputerScienceandEngineering,ShanghaiJiaotong Unv／ers~y,Shangha／200030，China) Abstract：Featureextraction iskeystoneanddi~eulty oftextcategorizationusingmachinelearning．In thispaper, severalmethodsonfeatureextractionaleintrodueed．Furthermore，aimprovedmutu81informationmethodonfeatureextraetion isproposde．A experimentsystem isdesignedtoshowOilyimprovedmethodeffectiveandfeasible． Keywords：textcategoriaztion；featul~ extraction；mutu81information 其中P(lG)是 在Cl中出现的概率，P(T)是T在整 1 引言 个训练集中出现的概率。用互信息的方法，在某个类别C 中 文本分类(TextCategoriaztion)是文本挖掘的一个重要组 的出现概率高，而在其它类别中的出现概率低的词条T，将获 成部分，它在提高信息检索的速度和准确率方面显得意义重 得较高的词条和类别互信息，也就可能被选取为类别C；的特 大。而文本分类中的特征选择(FeatureSelection)和特征抽取 征。词条和类别的互信息体现了词条和类别的相关程度，互 (FeatureExtraction)是用机器学习方法进行文本分类的首要 信息越大，词条和类别的相关程度也越大。 任务和关键问题。这里文本的特征就直接采用文本中的词条 2)词条的’(‘CHI)统计 ，定义如下： Token)作为特征项 ，于是文本可以表示为特征的向量，即d CHI(T， )= = ( ， ，…，)，元素 是词条。同样，类别也可以用特征 表示为C=( ， ，…， )。 (nll+nl2)(n2l+n≈)(nll+r1)(nl2+n笠) 简单地说，特征选择是从一组特征中选出一部分最有代 其中，nll表示 T在