基于CFS-GA特征选择算法中文网页自动分类.docVIP

基于CFS-GA特征选择算法中文网页自动分类摘 要：为在中文网页分类时降低特征向量的维度、提高分类的精度，采用一种基于关联的特征选择（Correlation?basedFeatureSelection，CFS）与遗传算法（GeneticAlgorithm，GA）相结合的方法进行特征选择.在该算法中，特征子集被当作GA中的一个染色体进行二进制编码；利用CFS启发值作为GA的适应度函数对个体进行评价；CFS值越大的个体遗传到下一代的概率越大.结合GA的全局搜索特性，该算法可保证所得特征子集是全局最优的.利用weka平台，对搜狗实验室提供的中文网页数据集进行实验.结果表明，该算法能有效降低特征空间的维度、提高分类精度. 关键词：中文网页分类；特征选择；基于关联的特征选择算法；遗传算法 中图分类号：TP393.092；TP183 文献标志码：A ChineseWebpageclassificationbasedonCFS?GA featureselectionalgorithm YUChunping，HUANGXiaoxia （InformationEngineeringCollege，ShanghaiMaritimeUniv.，Shanghai201306，China） Abstract：ToreducethedimensionofthefeaturespaceandimprovetheprecisionofChineseWebpage classification，amethodbasedonCorrelation?basedFeatureSelection（CFS）andGeneticAlgorithm（GA）isusedintheprocessoffeatureselection.IntheCFS?GAalgorithm，afeaturesubsetisregarded asachromosomewhichisthenperformedinbinaryencode，andCFSisusedasGAsfitnessfunctionto evaluatethechromosome.ThegreatertheCFSvalueis，thegreatertheprobabilitythatindividualsinherit tothenextgenerationwillbe.CombiningwithGAsglobalsearchcharacter，thealgorithmcanensure thatthefeaturesubsetisglobaloptimum.ExperimentisdoneonwekaplatformwiththeChineseWeb pagedatasetprovidedbytheSougoulab.Theresultshowsthatthisalgorithmcanreducethedimensionof thefeaturespaceeffectivelyandimprovetheprecisionoftheclassification. Keywords：ChineseWebpageclassification；featureselection；correlation?basedfeatureselection；ge?neticalgorithm 0 引 言 自进入信息化时代以来，因特网上的网页数量增长迅猛.为了提高信息的检索效率，很有必要对因特网上的一些网页进行分类.尽管目前有Google，Yahoo，搜狐等分类目录式的中文网站目录，但由于其均为人工编纂，效率低下，而且更新速度慢，无法满足当前因特网对信息实时性的要求.［1］因此，网页自动分类的研究对基于内容的信息检索、Web数据挖掘具有深远的意义. 中文网页分类一般包括预处理、特征选择和构造分类器等3个阶段.［2］预处理包括文本标记（html标签和JavaScript代码）的处理、分词处理和停用词处理.对中文网页中的海量信息进行预处理后所形成的特征向量的维数高达几万、甚至几十万，这无疑会造成维灾难.这些高维数据中含有大量的噪声以及与类别不相关的信息，用其直接进行分类既降低分类效率又影响分类的精确度，因此特征选择成为中文网页分类中的一项关键技术.［3］特征选择是一个NP难题.［4］按照分类算法评价标准可以将特征选择算法分成两大类：过滤型（filter）和封装型（wrapper）.过滤型不考虑具体的学习算法，而是直接从原始数据出发得到各个特征的贡献评价；封装型则考虑具体的学习算法，由分类器的结果评价特征好坏.过滤型算法可以很快从原始特征集合中选出较优的特征子集，但是该特征子集并不是最小的，且其中还