基于梯度算法的支持向量机参数优化方法.pdfVIP

第 23卷 第 1l期 控 制 与 2OO8年 11月 VoI．23 No．11 C0 fr0f 口 Nov．2OO8 文章编号 ：1OO1。92O(2。O8)11—1291一O5 基于梯度算法的支持向量机参数优化方法 别一一一撇～n一～o一a6?一|一一一n一一一一～一～s邮k一一一一一d～n一一一．一一一一～～a一一S～～．=一一～～～一霎一一ss引¨一一一一一mm～一一～哪．．．州呈一一一脚m～一一岬一一J雪～出．( 刘 昌平 ，范明钰 ，王光卫 ，马素丽 (电子科技大学 计算机科学与工程学院，成都 61O054) 摘 要 ：首先介绍最近出现 的参数优化方法，概括 了高效率的参数优化算法应具备的若干特 点．然后提 出了一种新 的支持 向量机参数优化方法．该方法先在局域 内用混沌优化搜索局域最优 点，再将此最优点作为梯度方 向，通过改变 局域范围跳 出局部寻优 区域．该方法降低 了对性能函数连续且可微的要求，收敛速度快，最终优化解与支持 向量机的 参数初始值无关．最后，通过仿真实验表明了该方法具有更高的分类和 回归准确率． 关键词 ：支持 向量机；梯度算法 ；混沌 ；参数优化 中图分类号 ：TP18 文献标识码 ：A optimizingparameters0fsupp0rtVect0rmachinebased0n gradient alg0rithm LJU C 口g一户 g，FAN M g— “，W_ANG G “乜 g一硼P ，M A S“一Z (Sch0olofComputerScienceandEngineering，UniversityofElectronicScienceandTechn。l0gy，Chengdu61OO54， China．Correspondent：LIUChang—ping，l1-mai1：goodlcp@ 163．com) 一 _蚕m 一：暑e兰．l兰0一=．m锄耋姐 l 引 言 结束搜索．混沌序列的随机性很突出，很容易陷入局 一 Ⅲ b 支持向量机 (SVM)是机器学习领域 中以统计 部寻优区域，而且不具备跳出该 区域的能力．[4—6] 学习理论为基础的新 型学习方法，通过核函数将低 和[7]分别以遗传算法和免疫算法寻优参数．这类算 维空间不可分问题转化为高维空间可分的 问题．支 法虽然在一定程度上具备产生新搜索空间的能力 ， 持向量机的参数值在很大程度上决定了支持向量机 但新搜索空间的产生具有随机性．[8，9]以启发式算 的性能，并对支持向量机的分类正确率或回归准确 法优化最小二乘支持 向量机 (LS_SVM)的参数； 率有重大的影响，参数细微的变化可能会造成支持 [1o]采用模拟退火算法寻优标准 sVM 的参数．这 向量机学习能力和推广能力的巨大变化．因此，在参 些算法初始值具有很大的随意性 ，而且算法最终解