支持向量机与回归技术概览及实现策略.pptxVIP

支持向量回归

内容提要

线性可分支持向量机

线性不可分支持向量机

支持向量机回归

实现策略

多分类

SVM本身是针对经典的二分类问题提出的，支持向量回归机（SupportVectorRegression，SVR）是支持向量在函数回归领域的应用。

SVR与SVM分类有以下不同：SVM回归的样本点只有一类，所寻求的最优超平面不是使两类样本点分得“最开”，而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间，求最优回归超平面同样等价于求最大间隔。

支持向量回归机

对于线性情况，支持向量机函数拟合首先考虑用线性回归函数拟合

标准支持向量机采用ε-不灵敏度函数，即假设所有训练数据在精度ε下用线性函数拟合图。

SVR基本模型

约束条件

支持向量回归机

该问题的求解为二次优化问题，通过拉格朗日乘子转化为其对偶形式

计算b的值及决策函数

支持向量回归机

非线性SVR的基本思想是通过事先确定的非线性映射将输入向量映射的一个高维特征空间中，然后在此高维空间中再进行线性回归，从而取得在原空间非线性回归的效果。

首先将输入量通过映射映射到高维特征空间H中，则

则优化目标函数变为：

支持向量回归机-非线性

在高维空间中计算内积十分复杂，鉴于核函数优秀的内积计算性质

则优化目标函数可表示为

支持向量回归机-非线性

得到回归函数即为标准ε-不敏感损失函数下的回归