【word】 一种基于PSO同步进行特征选择及参数优化的核K近邻分类算法.docVIP

一种基于PSO同步进行特征选择及参数优化的核K近邻分类算法 小型微型计算机系统 JournalofChineseComputerSystems 2007年8月第8期 Vo1.28No.82007 一 种基于PSO同步进行特征选择及参数优化的核K近邻分类 算法 任江涛,姚树宇,纪庆革 (中山大学计算机科学系,广东广州510275) E—mail:issrjt@ 摘要:特征选择及分类器参数优化是提高分类器性能的两个重要方面,传统上这两个问题是分开解决的.近年来,随着进化 优化计算技术在模式识别领域的广泛应用,编码上的灵活性使得特征选择及参数的同步优化成为一种可能和趋势.为了解决此 问题,本文研究采用二进制PSO算法进行特征选择及核K近邻分类器参数的同步优化.实验表明,该方法可有效地找出合适的 特征子集及核函数参数,并取得较好的分类效果. 关键词:特征选择;分类器参数;同步优化;粒子群算法;核K近邻算法 中图分类号:TP311文献标识码:A文章编号:1000—1220(2007)08—1461—04 KernelKNNAlgorithmbasedonSimultaneousFeatureSelectionandParameterOptimization byPSO RENJiang??tao,YA0Shu-yu,jIQing,?ge (DepartmentofComputerScience,ZhongshanUniversity,Guangzhou510275,China) Abstract:Featureselectionandclassifierparameteroptimizationaretwoimportantaspectsforimprovingclassifierperformance andaresolvedseparatelytraditionally.Recently,withthewideapplicationsofevolutionarycomputationinpatternrecognition area,simultaneousfeatureselectionandparameteroptimizationbecamepossibleandtendency.Tosolvetheproblem,wepro- posedasimultaneousfeatureselectionandparameteroptimizationalgorithmbasedonbinaryPSOalgorithm.Theexperiments showthatthealgorithmcanefficientlyfindthesuitablefeaturesubsetsandparameters,whichresultingoodclassificationper— formanee. Keywords:featureselection;classifierparameter;simultaneousoptimization;PSO;KernelKNN 1引言 分类问题是模式识别领域的核心问题,主要包括分类器 模型的选择,特征选择及分类器参数优化等子问题.近年来, 随着模式识别研究的深入,研究对象越来越复杂,对象的特征 维数越来越高.大量高维数据对象的特征空间中含有许多冗 余特征甚至噪声特征,这些特征一方面可能降低分类或聚类 的精度,另一方面会大大增加学习及训练的时问及空间复杂 度.因此,在面对高维数据进行分类或聚类时,通常需要运用 特征选择算法找到具有较好可分性的特征子空问,从而实现 降维,降低机器学习的时间及空问复杂度[1].因此,模式识别 领域研究出了大量的特征选择算法.另外,合适的参数设置对 于提高分类器模型的分类精度非常重要,错误的参数设置往 往会大幅降低分类器的性能,因此分类器参数优化也是模式 识别领域重要的研究方向之一. 传统上,特征选择与分类器参数优化问题一般是分别研 究的,但近年来出现了一种趋势,将这两个问题融合起来同步 研究.文献[4]提出了一种应用遗传算法(GA)同步进行特征 选择及SVM参数优化的方法.文献I-5]提出了一种应用遗传 规划(GP)同步进行特征选择及分类器参数优化的方法,取得 了不错的效果. 作为一种简单易行的分类算法,K近邻算法及其众多的 变种得到了广泛的研究和应用.但传统上其采用欧氏距离度 量使其在面对许多复杂的分类问题时性能受到限制.为了克 服该问题,随着核函数思想在模式识别领域的广泛应用,核K 近邻算法应运而生[6],取得了不错的分类效果.但该方法同样 没有进一步解决特征选择和核参数优化问题. PSO算法是一种新兴的优化技术,其思想来源于人工生 命及演化计算理论.PSO通过粒子追随自己