覆盖算法下文本分类特征选择的研究.pdfVIP

第 8【卷 第 11期 计 算机 技 术 与发 展 V。1．18 No．11 ． 2008年 l1月 COMPUTERTECH 0IX Y AND DEVELOPMENT NOV． 2008 覆盖算法下文本分类特征选择的研究 段 震，王倩倩 ，张燕平，张 铃 (安徽大学 计算智能与信号处理教育部重点实验室，安徽 合肥 230039) 摘 要：文本分类是信息检索和数据挖掘的基础，被广泛应用于网络数据挖掘及搜索引擎等方面。首先对文本进行分词 ， 对分词的结果分别使用 统计量(CHI)方法与相关系数法(C~2法)进行降维，并使用维数调节的思想进行特征提取。在 得到特征集后 ，使用覆盖算法作为文本分类器进行学习。实验结果表明，通过结合相关系数法、覆盖算法以及维数调节方 法，可实现一个效果较好的文本分类器。 关键词：文本分类；-r统计量；覆盖算法；特征选择 中图分类号 ：TP18 文献标识码 ：A 文章编号 ：1673～629X(2008)11—0029—03 StudyonFeatureSelectionofTextClassification inCrossCoverAlgorithm DUAN Zhen，WANGQian—qian，ZHANGYan—ping，ZHANGLing (MinistryofEdu．KeyLab．ofIntelligentComputing SignalProcessing，AnhuiUniv．，Hefei230039，China) Abstract：Textcla~sifiactionisthebaseofinformationretrievalanddatamininganditiswidelyusedinwebdatamining andsearchen- gine．Dividestextsintowordsfirstlynadusestwomethodsnamed statisticnadcorrelationcoefficienttordeucedimensions，nadthen usesdimensionregulationtoobtainthefeature．Aftergettingthefeatureset．usescoveralgorithm asatextclassifiertOstudy．Theresult ofexperimentindicatesthatitisna effeetirewaytorealizeatextcla*~ifierwiththecombinationofcorrelationcoefficient，ocveralgoritmh anddimensionregulation． Keywords：textclassification； statistic；coveralgorit~n；featureselection 0 引 言 l特征降维方法的比较 自2O世纪90年代开始 ，文本分类获得了广泛的 文献[1]对多种特征选择的方法进行分析后得出， 研究。在文本分类的各方法中，比较常见的是支持向 在该文所分析的各类方法中，z统计量方法(CHI)效 量机法 (SVM)，K近邻法 (tCNN)，贝叶斯分类法 果最好，因此该方法被该类应用所广泛采用，其形式 (Bayes)，神经网络法 (NN)等，其中神经网络法以其具 为 ： 有 自适应性、自学习能力和大规模平行计算能力的特 (t^，c)= 点而著称。文中采用基于神经网络的覆盖算法作为文