用於回归估计的LSSVM.docVIP

　2004年7月 系统工程理论与实践第7期　 文章编号:100026788(2004 0720094204用于回归估计的最小二乘广义支持向量机 孙宗海, 孙优贤 (浙江大学工业控制技术国家重点实验室, 浙江杭州310027 摘要:　提出了一种用于回归估计的最小二乘广义支持向量机Λ这种最小二乘广义支持向量机的核函数 同标准的支持向量机相比没有或者只有很少的限制Λ将这种用于回归估计的最小二乘广义支持向量机 表示成标准的二次规划(Q P 问题, 采用基于矩阵分裂的超松弛法同投影梯度法相结合的算法来解这一 Q P 问题Λ根据超松弛法的特点, 这一算法可以处理大量数据的情形Λ 关键词:　最小二乘广义支持向量机; 回归估计; 超松弛法; 矩阵分裂 中图分类号:　T P 391. 4　　　　　　　　文献标识码:　A 　　　 L east Square Generalized Suppo rt V ecto r M ach ines fo r R egressi on SU N Zong 2hai , SU N You 2x ian (N ati onal L abo rato ry of Indu strial Con tro l T echno logy , Zhejiang U n iversity , H angzhou 310027, Ch ina Abstract :　L east square generalized suppo rt vecto r m ach ines (L S _GSVM s are app lied to regressi on esti m ati on . L S _GSVM s’kernel functi on s have no o r few li m its w hen they are compared w ith standard suppo rt vecto r m ach ines (SVM s . W e give a p resen tati on of quadratic p rogramm ing (Q P p rob lem fo r the L S _GSVM s . In o rder to so lve the Q P p rob lem , w e app ly the com b inati on of the gradien t p ro jecti on and successive overrelaxati on (SOR based on the m atrix sp litting . T hat is , w e train the L S _GSVM s w ith above algo rithm . Becau se SOR handles one po in t at a ti m e , it can p rocess very large datasets that need no t reside in m emo ry . Key words :　least square generalized suppo rt vecto r m ach ines ; regressi on esti m ati on ; successive overrelaxati on ; m atrix sp litting 收稿日期:2002210214 资助项目:973项目(2002CB 312200 　　作者简介:孙宗海(1974- , 男, 湖北保康人, 博士后, 从事统计学习理论及其应用的研究 1　支持向量机的原理提出 支持向量机[1]是V ap n ik 根据统计学习理论提出的一种学习算法, 它根据结构风险最小化原则, 尽量提高学习机的泛化能力, 即使是由有限的训练样本得到的解, 在求解问题时仍能得到较小的误差, 并且误差的边界独立于训练数据的概率分布Λ支持向量机算法是一个凸二次优化问题, 能够保证找到的极值解就是全局最优解Λ这种方法在训练过程中只有极少的参数需要调整Λ上述特点使支持向量机成为一种优秀的学习算法Λ但它的核函数要求满足M ercer 条件[1]Λ 在本文中, 我们提出了一种应用于回归估计的最小二乘广义支持向量机, 它是一种支持向量机的改进版本Λ它的核函数没有任何限制, 但具有支持向量机的优点Λ 在线性函数集合:f (x =w T x +b , w ∈R n 中估计回归函数, 我们把回归估计问题定义为对一个Ε2不敏感损失函数[1](ΕΕ0 , L (y , f (x = y -f (x Ε=0, y -f (x ΦΕ, y -f (x -Ε, 其它. 进行风险最小化问题Λ 采用支持向量机的基本思想为: 将每一个样本点用一个非线性函数映