支持向量机基本知识点和应用举例.pptVIP

支持向量机及应用简介 李承军 水电仿真中心 07.4.23 有指导机器学习的目的是根据给定的训练样本，求出对某系统输入输出之间依赖关系的估计，使它能够对未知输入作出尽可能准确的预测。可以一般地表示为：变量y与x存在一定的未知依赖关系，即遵循某一未知的联合概率F(x,y)（x 和y 之间的确定性关系可以看作是其特例），有指导机器学习问题就是根据N个独立同分布观测样本 在一组函数{f (x,w)}中求一个最优的函数 f (x,w0)对依赖关系进行估计，使期望风险 最小 支持向量机（SVM） 支持向量机(Surpport Vector Machines)简称SVM，是统计学习理论中最年轻的内容，也是最实用的部分。其核心内容是在1995 年左右,由Vapnik和Chervonenkis提出的，目前仍处在不断发展阶段。 支持向量分类(Classification) 线性分类器 分类面 点x0到平面 w,x+b=0 的距离为 最优分类面 最大间隔(margin) 分类面方程为 支撑面之间的 距离叫做分类 间隔 线性可分的最优分类模型 将 代入目标函数，由对偶理论知，系数可由如下二次规划问题解得 给定x的分类结果 特点:稳定性、鲁棒性、稀疏性等 最大间距:由于对 则 线性不可分(软间隔) 最优性条件 由KKT条件 max C不同带来的影响 支持向量回归(Regression) 回归问题 线性回归:给定训练集(xi,yi),找个线性函数f(x)=wTx+b,来拟合数据 最小二乘法(Least Square) 其中 为回归误差. 记 ,则目标函数可写为 解为 最小二乘解的不足:数值稳定性问题,增加新数据对解都有影响,为使模型尽量简单需进行假设检验. 脊回归(Ridge Regression) 数值稳定性较好. 还可写为 ε敏感损失回归 ε敏感损失函数(ε-Insensitive Loss) 损失函数比较 模型 （线性ε损失） 作Lagrange乘子函数 KKT条件 代入模型得系数满足的二次规划 变量代换： 回归方程： 用二次ε损失函数时，模型为 KKT条件 代入模型得系数满足的二次规划 变量代换： 回归方程： 非线性SVM与核(Kernel)函数 非线性变换 基本思想： 选择非线性映射Φ(X)将x映射到高维特征空间Z，在Z中构造最优超平面 对分类问题 系数可由二次规划 对回归问题 求系数： 回归方程： 这种变换可能比较复杂，因此这种思路在一般情况下不易实现。但是注意到，在上面的对偶问题中，不论是寻优函数还是分类函数都只涉及训练样本之间的内积运算。这样，在高维空间实际上只需进行内积运算，而这种内积运算是可以用原空间中的函数实现的，我们甚至没有必要知道变换的形式。我们看到，通过把原问题转化为对偶问题，计算的复杂度不再取决于空间维数，而是取决于样本数，尤其是样本中的支持向量数。这些特征使有效地对付高维问题成为可能。 定义核函数： 对分类问题 系数可由二次规划 对回归问题 求系数： 回归方程： 核函数矩阵K 应用设想 已经取得了广泛的应用 支持向量机水库调度函数： 入库径流预报 负荷预报、电价预测等 常规调度图 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright