基于梯度算法的支持向量机参数优化方法-控制与决策.pdfVIP

第 23 卷 第 11 期 控 　制 　与 　决 　策 2008 年 11 月 Vol . 23 No . 11 Cont rol an d D ecis ion 　 Nov . 2008 　　文章编号 : 100 10920 (2008) 11129 105 基于梯度算法的支持向量机参数优化方法 刘昌平 , 范明钰 , 王光卫 , 马素丽 ( 电子科技大学 计算机科学与工程学院 , 成都 6 10054) 摘 　要 : 首先介绍最近出现的参数优化方法 ,概括了高效率的参数优化算法应具备的若干特点. 然后提出了一种新 的支持向量机参数优化方法. 该方法先在局域内用混沌优化搜索局域最优点 ,再将此最优点作为梯度方向 ,通过改变 局域范围跳出局部寻优区域. 该方法降低了对性能函数连续且可微的要求 ,收敛速度快 ,最终优化解与支持向量机的 参数初始值无关. 最后 ,通过仿真实验表明了该方法具有更高的分类和回归准确率. 关键词 : 支持向量机 ; 梯度算法 ; 混沌 ; 参数优化 中图分类号 : TP 18 　　　　文献标识码 : A Optimizing parameters of support vector machine based on gradient algorithm L I U Ch angp i ng , FA N M i ngy u , WA N G Gu angw ei , M A S ul i ( School of Comp ut er Science and Engineering , U niver sit y of Elect ronic Science and Technolo gy , Chengdu 6 10054 , China . Correspondent : L IU Changping , Email : goo dlcp @163 . com) Abstract : Some recent met hods of p aramet er s ’op timization are analyzed , and several charact eri stics of efficient arit hmetics to op timize p aramet er s of support vector machine are generalized . Gradient algorit hm can not be utilized directly becau se of it s requirement of differentiable function . In t he new met hod p ropo sed , gradient direction i s not directional derivative but op timized result of chao s search in local area . Thi s met hod doesn ’t require differentiable function , and ha s t he advant age of fa st er conver gent sp eed , t he abilit y of op timization wit hin global scop e and t he indep endence between event ual op timized p aramat er s and initial SV M p aramat er s. Key words : Support vector machine ; Gradient algorit hm ; Chao s ; Paramet er op timization 1 　引　　言