(完整版)支持向量回归机.docVIP

3.3 支持向量回归机 SVM 本身是针对经典的二分类问题提出的， 支持向量回归机（ Support Vector Regression，SVR ）是支持向量在函数回归领域的应用。 SVR 与 SVM 分类有以 下不同： SVM 回归的样本点只有一类，所寻求的最优超平面不是使两类样本点 分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在 两条边界线之间，求最优回归超平面同样等价于求最大间隔。 3.3.1 SVR 基本模型 对于线性情况，支持向量机函数拟合首先考虑用线性回归函数 f ( x) x b 拟合 (xi , yi ), i 1,2,..., n ， xi Rn 为输入量， yi R 为输出量，即 需要确定 和 b 。 图 3-3a SVR 结构图 图 3-3b 不灵敏度函数 惩罚函数是学习模型在学习过程中对误差的一种度量， 一般在模型学习前己 经选定，不同的学习问题对应的损失函数一般也不同， 同一学习问题选取不同的 损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表 3-1。 表 3-1 常用的损失函数和相应的密度函数 ( ) 噪声密度 损失函数名称 损失函数表达式 c i p( i ) -不敏感 i 1 exp( i ) 2(1 ) 拉普拉斯 i 1 exp( i ) 2 1 2 1 2 高斯 exp( i ) 2 i 2 2 1 ( i ) 2 , 2 if i ; exp( i ), if i 鲁棒损失 2 2 i , otherwise; exp( i ), otherwise 2 2 1 p p p 多项式 p i 2 (1/ p) exp(i ) 1 p p , if exp( i 1 ), if p p 1 i i p i 分段多项式 p p 1 p 1 i ), otherwise i p , otherwise exp( p 标准支持向量机采用 -不灵敏度函数，即假设所有训练数据在精度 下用线 性函数拟合如图（ 3-3a）所示， yi f ( xi ) i f ( xi ) yi * i i , i* 0  i 1,2,..., n （3.11） 式中， i , i* 是松弛因子，当划分有误差时， ， i* 都大于 0，误差不存在取 0。 这时，该问题转化为求优化目标函数最小化问题： R(,,*) 1 n ( ii* （3.12） C ) 2 i 1 式（ 3.12）中第一项使拟合函数更为平坦，从而提高泛化能力；第二项为减小误 差；常数 C 0 表示对超出误差 的样本的惩罚程度。 求解式（ 3.11）和式（ 3.12） 可看出，这是一个凸二次优化问题，所以引入 Lagrange函数： 1 n n L C ( i i* ) i [ i yi f ( xi )] 2 i 1 i 1 （3.13） n n i* [ i* i* i* ) yi f ( xi )] ( i i i 1 i 1 式中， ， i* 0 ， i ， i*  0 ，为 Lagrange 乘数， i 1,2,..., n 。求函数 L 对 ， b ， i ， i* 的最小化，对 i ， i* ， i ， i* 的最大化，代入 Lagrange函数得到对偶形式，最大化函数： W(,*) 1 n ( i i* )( j *j )( xi x j ) 2 i 1, j 1 （3.14） n n i* ) yi i* ) ( i ( i i 1 i 1 其约束条件为： n i* ) ( i 0 （3.15） i 1 0 i , * C i 求解式（ 3.14）、（ 3.15）式其实也是一个求解二次规划问题，由 Kuhn-Tucker 定理，在鞍点处有： i [ i yi f (xi )] 0 i* [ i* yi f (xi )] 0 0 * * 0 （3.16） ii i i 得出 * 0 ，表明 i ， * 不能同时为零，还可以得出： ii i (C i ) i 0 （3.17） (C i * ) i* 0 从式（ 3.17）可得出，当 C ，或 * C 时， f ( xi ) yi 可能大于 ，与 i i 其对应的 xi 称为边界支持向量（ Boundary Support Vector，BSV），对应图 3-3a 中虚线带以外的点；当 * i (0, C ) 时， f ( xi ) yi ，即 i 0 ， i * 0 ，与其 对应的 xi 称为标准支持向量（ Normal Support Vector，NSV ），对应图 3-3a 中落 在 管道上的数据点；当 i＝0 ， i ＝ 0时，与其对应的 xi