基于相对文档频的平衡信息增益降维方法.pdfVIP

第29卷第5期 江西理工大学学报 v。1．29，N。．5 2008年 10月 JOURNALOFJIANGXIUNIVERSITYOFSCIENCEANDTECHNOLOGY Oct．2008 文章编号：1007—1229(2008)05—0068—04 基于相对文档频的平衡信息增益降维方法 任克强， 张国萍， 赵光甫 (江西理工大学信息工程学院，江西赣州 341000) 摘 要：针对文本分类中信息增益降维方法的不足，提 出了一种基于相对文档频的平衡信息增益 (RDFBIG)降维方法．实验结果表明，RDFBIG能有效消除不同类别之间语料规模对分类精度的影 响，取得 了较好的分类效果． 关键词：相对文档频；特征降维；信息增益；文本分类 中图分类号：TP391 文献标识码 ：A FeatureReductionBasedonRelativeDocument FrequencyBalanceInformationGain RENKe-qiang，ZHANGGu0一ping，ZHAOGuang-fu (FacultyofInformationEngineering，JiangxiUniversityofScienceandTechnology，Ganzhou341000，China) Abstract：Toovercometheshortageofinformationgainintextcategorization，thispaperproposesamethodof featurereductionbasedonhterelativedocumentfrequencybalanceinformationgain (RDFBIG)．Experimental resultsshow htatRDFBIG can effectivelyeliminatehteimpactofcorpusscaleindifferentclasses，andachieve betterresuhsintextcategorization． Keywords：relativedocumentfrequency；featurereduction；informationgain；textcategorization 度和准确率． 0 引 言 特征选择是特征降维的主要方法之一，又称独 文本分类 (TextCategorization，TC)是指在给定 立评估法3[1，其 目的是滤除携带信息量较少的词，只 的分类体系下，计算机根据文本内容 自动确定文本 保留对分类贡献较大的词．在进行特征选择时一般 类别的过程1]【，它是文本挖掘的一个重要组成部分， 都是利用某种评价函数，独立地对每个原始特征项 在提高情报检索的速度和准确率方面有重要的意 进行评分，然后按分值的高低将它们排序，从中选 义．文本分类技术已经广泛应用于信息检索、信息 取若干个分值最高的特征项，以达到减少总特征数 抽取、信息过滤、数据组织、网上信息快速定位和搜 的目的，评价函数的好坏是影响特征选择的关键4[． 索引擎等诸多领域．目前 ，文本分类系统普遍使用 常用的评价函数有信息增益 (InformationGain， 向量空问模型(VSM)回来表示文本 ，采用文本 中的 IG)、x 统计 (Chi—square，CHI)、文档频率 Docu— 词条作为特征项，并表示为特征向量d=(￡。，w。， mentFrequency，DF)等图．本文分析了采用信息增益 2，w2，…，￡，wn)的形式，其中w是特征 ti对应 作为评价函数的降维方法，针对信息增益降维方法 的权重，利用训练好的分类器将文本 自动分类．在 的不足，提出了一种基于相对文档频的平衡信息增 向量空间模型中，其特征项可能涉及整个文档集中