一种有指导的文本特征加权改进算法.pdfVIP

第 38卷 第 8期 计 算 机 工 程 2012年 4月 、厂0l-38 No．8 ComputerEngineering April2012 · 人工智能及识别技术 · 文章编号：loo．3428(2012)0＆__012-_03 文献标识码：A 中圈分类号；TP18 一 种有指导的文本特征加权改进算法 刘墙阳，陆 洋 (浙江工业大学计算机科学与技术学院，杭州 310023) 攮 要 ：传统 tf．idf方法未利用分类数据的特性，无法反映词在各个类别之间的比例关系。为此，在分析有指导的文本特征加权方法 tf．ff 基础上，提出一种基于有指导的改进文本特征加权方法tfifidfo该改进方法结合 tf．idf和 tf．rf2种方法的特点，考虑词在总体文档及各类别 文档之间的关系，实现文本特征加权。实验结果表明，该方法的分类能力比tf．rf方法有明显提升。 关健词 ：数据挖掘；文本分类；文本表示；特征加权 ；有指导方法；支持向量机 ImprovedSupervisedAlgorithm 0fTextFeatureW eighting LIU Duan-yang，LUYang (CollegeofComputerScienceandTechnology,Zh~iangUniversityofTechnology,Hangzhou310023，Chnia) [Abstract]Thetraditionaltf．idfalgorithmcannottakefulladvanatgeofhtecharacteristicsofdatasetforclassification，whichcannotreflecthte relationshipofhteterm among hteclasses．Onhtebasisofanalyzing htetf．rfwhich isasupervisedtextfatllreweighting mehtod．htispaper proposesanimprovedsupervisedalgorithm oftextfeatureweightingwhichiscalledtf．ridf．Thealgorithm combineshteadvanatgesoftwoideas， considerstherelationshipofhteterm inhtevariouscategoriesandinhteoveralldocuments，implementstextfea~reweighting．Experimentalresult showshtattheclassificationaccuracyoft~ridfincreasessignificantlyhigherthantEr~ [Keywordsldaatmninig；textcategorization；textrepresentation；featureweighting；supervisedmethod；SupportVectorMachine(SVM) DOI：10．39690．issn．1000-3428．2012．08．042 l 概述 了这一点。文献 5【】首先指出了t~idf方法的不足，在基于有 随着互联网应用的普及，网络中已存储了海量的文本信 指导的方法基础上，将信息增益结合tf．idf来改进文本特征加 息 ，人们迫切需要从文本中挖掘出有用的信息。文本挖掘是 权。文献[6】则考虑了词在正类和反类中的比例关系，认为只 指从大量文本数据中抽取事先未知的、可理解的、最终可用 要正类比反类占的比例越高，该词就越能代表正类，就具有 的信息或知识的过程。与信息检索、信息过滤、文本聚类一 越高的权值。 样 ，文本分类