支持向量回归机概念.docVIP

3.3 支持向量回归机 SVM本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression，SVR）是支持向量在函数回归领域的应用。SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数拟合，为输入量，为输出量，即需要确定和。 图3-3a SVR结构图 图3-3b不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量，一般在模型学习前己经选定，不同的学习问题对应的损失函数一般也不同，同一学习问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1。 表3-1 常用的损失函数和相应的密度函数 损失函数名称 损失函数表达式 噪声密度 -不敏感 拉普拉斯 高斯 鲁棒损失 多项式 分段多项式 标准支持向量机采用-不灵敏度函数，即假设所有训练数据在精度下用线性函数拟合如图（3-3a）所示， （3.11） 式中，是松弛因子，当划分有误差时，，都大于0，误差不存在取0。这时，该问题转化为求优化目标函数最小化问题： （3.12） 式（3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误差；常数表示对超出误差的样本的惩罚程度。求解式（3.11）和式（3.12）可看出，这是一个凸二次优化问题，所以引入Lagrange函数： （3.13） 式中，，，，，为Lagrange乘数，。求函数对，，，的最小化，对，，，的最大化，代入Lagrange函数得到对偶形式，最大化函数： （3.14） 其约束条件为： （3.15） 求解式（3.14）、（3.15）式其实也是一个求解二次规划问题，由Kuhn-Tucker定理，在鞍点处有： （3.16） 得出，表明，不能同时为零，还可以得出： （3.17） 从式（3.17）可得出，当，或时，可能大于，与其对应的称为边界支持向量（Boundary Support Vector，BSV时，，即，，与其对应的称为标准支持向量（Normal Support Vector，NSV管道上的数据点；当，时，与其对应的为非支持向量，对应图3-3a中管道内的点，它们对没有贡献。因此越大，支持向量数越少。对于标准支持向量，如果，此时，由式（3.16）可以求出参数： 同样，对于满足的标准支持向量，有 一般对所有标准支持向量分别计算的值，然后求平均值，即 （3.18） 因此根据样本点求得的线性拟合函数为 （3.19） 非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间（Hilbert空间）中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。 首先将输入量通过映射映射到高维特征空间中用函数式变为： （3.20） 式（3.20）中涉及到高维特征空间点积运算，而且函数是未知的，高维的。支持向量机理论只考虑高维特征空间的点积运算，而不直接使用函数。称为核函数，核函数的选取应使其为高维特征空间的一个点积，核函数的类型有多种，常用的核函数有： 多项式核：; 高斯核：; RBF核：; B样条核：; Fourier核：; 因此式（3.20）变成 （3.21） 可求的非线性拟合函数的表示式为： （3.22） 3.3.2 结构改进的支持向量回归机 上节所述的SVR基本模型其优化目标为： （3.23） SVR结构改进算法一般在优化目标中增加函数项，变量或系数等方法使公式变形，产生出各种有某一方面优势或者一定应用范围的算法。 Suykens提出了最小二乘支持向量机（LS-SVM）[105]，与标准SVM相比其优化指标采用了平方项，从而将不等式约束转变成等式约束，将二次规划问题转化成了线性方程组的求解，其优化目标为： （3.24） LS-SVM与标准SVM相比减少了一个调整参数，减少了个优化变量，从而简化了计算复杂性。然而LS-SVM没有保留解的稀疏性。改进的最