基于差分进化优化的约简最小二乘支持向量机.pdf

第32卷第8期 哈 尔 滨 工 程 大 学 学 报 V0I．32№ ．8 2011年 8月 JournalofHarbinEngineeringUniversity Aug．2011 doi：10．3969／j．issn．1006-7043．2011．08．009 基于差分进化优化的约简最小二乘支持向量机 高润鹏 ，伞冶 (哈尔滨工业大学控制与仿真中心，黑龙江 哈尔滨 150001) 摘 要：针对最小二乘支持向量回归机的解缺乏稀疏性、预测速度慢等问题，采用向量相关分析在高维特征空间约简支 持向量．为使约简模型能最佳逼近原模型，提出原模型与约简模型预测训练样本的平方误差和作为新性能评价准则．为 得到最优约简模型，定义了离散加法、减法和乘法算子，并将新性能评价准则作为适应度函数，采用整数编码的差分进化 算法进行全局优化．4个标准数据集实验结果表明，与前人提出的3种性能评价准则相比，新算法得到的约简模型具有 更好的泛化性能，并且在泛化性能略有下降情况下，支持向量数 目大幅减少． 关键词：最小二乘支持向量回归机；稀疏性；向量相关分析；差分进化；整数编码；支持向量约简 中图分类号：TP181 文献标识码：A 文章编号：1006-7043(2011)08．1012-07 Reduced leastsquaressupportvectormachine optimizedbydifferentialevolution GAO Runpeng，SAN Ye (ControlandSimulationCenter，HarbinInstituteofTechnology，Harbin150001，China) Abstract：Aimingatlackofsparsenessofthesolutionsofleastsquaressupportvectorregressionmachinewhich leadstoslow predictionspeedandotherproblems，thevectorcorrelationanalysiswasemployedtoreducethesup- portvectorsinthehighdimensionalfeaturespace．In ordertomakethereducedmodelbestapproximatetheorigl- nalone，sum squaredpredictionerrorsoftrainingsamplesbetweenthereducedmodelandoriginaloneweretaken asthenovelperformanceevaluationcriterion．Discreteaddition，subtractionandmultiplicationoperatorwerede— finedandthenovelperfomr anceevaluationcriterionwasusedasfitnessfunction．Thebestreducedmodelglobally optimizedby integercoded differentialevolution algorithm couldbeobtained．The experimentalresultson four benchmarkdatasetsshow thatreducedmodelobtainedbythenovelalgorithm hasbettergeneralizationperfomr ance， comparedwiththeotherthreeperformanceevaluationcriterionspresentedbefore．Andreducedmodelobviouslyde— creasessupportvectorsatcostoflittlegeneralizationperfomr ance． Keywords：leastsquaressupportvectorregres