最小方差支撑向量回归 - 控制与决策.pdfVIP

第25 卷 第4 期 控 制 与 决 策 2010 年 4 月 Vol. 25 No. 4 Control and Decision Apr. 2010 文章编号: 1001-0920 (2010) 04-0556-06 最小方差支撑向量回归 王晓明, 王士同 (江南大学信息工程学院, 江苏无锡214122) 摘 要: 基于支撑向量回归(SVR)可以通过构建支撑向量机分类问题实现的基本思想, 推广最小类方差支撑向量 机(MCVSVMs)于回归估计, 提出了最小方差支撑向量回归(MVSVR)算法. 该方法继承了MCVSVMs 鲁棒性和泛化 能力强的优点, 分析了MVSVR 和标准SVR 之间的关系, 讨论了在散度矩阵奇异情况下该方法的求解问题, 同时也讨 论了MVSVR 的非线性情况. 实验表明, 该方法是可行的, 且表现出了更强的泛化能力. 关键词: 关支撑向量回归；支撑向量机；最小类方差支撑向量机 中图分类号: TP181 文献标识码: A Minimum variance support vector regression WANG Xiao-ming, WANG Shi-tong (School of Information Engineering, Jiangnan University, Wuxi 214122, China. Correspondent: WANG Xiao-ming, E-mail: wxmwm@) Abstract: Based on the basic idea that the support vector regression (SVR) can be regarded as a classification problem in the dual space, a regression algorithm, minimum variance support vector regression (MVSVR), is proposed through constructing a classification problem by using the minimum class variance support vector machines (MCVSVMs). This method inherits the characteristics of the MCVSVMs, and can be transformed into the traditional SVR. The linear and nonlinear cases of the MVSVR are discussed. Experimental results on the artificial and real datasets show the effectiveness of the MVSVR. Key words: Support vector regression ；Support vector machines ；Minimum class variance support vector machines 1 引引引 言言言 进一步提高, 于是便出现了最小类方差支撑向量 支撑向量回归(SVR)[1]作为一种优秀的回归估 机(MCVSVMs)[6]. 不同于传统的SVMs, MCVSVMs 计和函数逼近算法, 已得到了成功的应用. 在正则化 建立决策超平面时既考虑了每类数据边界上的样 [2] 本, 又考虑了数据的分布信息, 因此不易受例外点 网络 框架中, SVR 的目标优化函数可以看作损失