基于Rough集约简算法中文文本自动分类系统.pdfVIP

第27卷第7期 电子与信息学报 、，01．27No．7 2005年7月 Jo啪alofElec抒0nicsInf-o咖ation Jul．2005 Technolo影 基于I沁u曲集约简算法的中文文本自动分类系统 盛晓炜 江铭虎 (清华大学中文系计算语言学实验室北京100084) (中国科学院自动化研究所模式识别国家重点实验室 北京 100080) 摘要：现有的文本自动分类离不开文档向量的构造，向量的分量与文档中的特征项相对应。这种向量通常高达几千 维甚至数万维，计算量相当大，因此需要对向量进行约简。而传统的基于频率的阈值过滤法往往会导致有效信息的丢 失，影响分类的准确度。该文将Rougll集理论引入自动分类，并提出了一种新的文档向量约简算法。实验证明该算法 不仅能有效缩减文档向量的规模，而且相比传统的阂值法信息损失小、准确率更高。 关键词： 自动分类，RDu曲集，决策表，约简算法 中图分类号：TP391 文献标识码：A 文章编号：l009-5896(2005)07—1047-06 AutomaticClassincationofChineseDocumentsBasedOn Setand Rough ImproVedQuick—ReduceAlgorithm Xi∞-wei Sheng JiaIlgMin哥hu 乜口6矿cD叩甜招踟煳比fw‘括比F，D印r矿@加邸P￡口删，乃f哪“口洳fvP船坝＆驴馏100084，鳓拥力 (鼢据硒，加6 Abst礴ctMuchofme automaticText are co衄emedwimtheco璐truction closely previous Cl鹊sification(TC)metllods tenll to tlle Vect0格imoa ofdoc啪emvectors．Witheach aunitintlle memod doc啪em corresponding vector，mism印s inamassiVeaIIlountofcaIculation． dimensionaI oftensofttlous柚ds resuIts ve搿high space，possibIy ofdimension，which Sincethe打aditional baSedon afldtllreshold oftenleadtothelossofeff-ectiVe algoritlllTls fbquency filteringmay anew for intmducesset t11atcan reducethe infomation，tllis TC，which rough greatly paperpresents syStem t11eoq doc啪entvectordimensionsreduction results tobe itcannot