支持向量回归机..pptVIP

参考文献 [1] 曾绍华. 支持向量回归机算法理论研究与应用. 控制理论与控制工程专业优秀论文. [2] 贾云峰. 基于支持向量回归的全局优化仿真优化算法. 硕士学位论文. 2011. [3] 冼广铭, 曾碧卿. ε-支持向量回归机算法及其应用. 计算工程与应用, 2008, 44(17):40-42. [4] Gunn, S. R. Support vector machines for classification and regression [R]. Southampton: Image Speech and Intelligent Systems Research Group, University of Southampton, 1997. [5] Zeng, S., Wei, Y., Duan, T., et al. Research on an algorithm of support vector stepwise regression[C]. Innovative Computing, Information and Control, 2006. ICICIC06. First International Conference on. IEEE, 2006, 3: 452-458. 支持向量回归机 ——SVR 汇 报 人： 陈 瑞 指导老师：张 宪 霞老师 日 期： 2016-1-11 目录 CONTENTS 01 支持向量机与支持向量回归机 02 支持向量回归机模型 03 支持向量回归机算法 04 总结 支持向量机与支持向量回归机 支持向量机(SVM) 是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力（或称泛化能力）。 VC维理论 经验风险 置信风险 02 03 01 可以简单的理解为问题的复杂程度，VC维越高，问题就越复杂. 经验风险代表了分类器在给定样本上的误差. 代表了我们在多大程度上可以信任分类器在未知文本上分类的结果. 并不是说样本的绝对数量少，而是说与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。 小样本 非线性 SVM擅长应付样本数据线性不可分的情况，主要通过松弛变量（也有人叫惩罚变量）和核函数技术来实现，这一部分是SVM的精髓。 高维模式识别 指样本维数很高，SVM可以处理高维向量，因为SVM 产生的分类器很简洁，用到的样本信息很少（仅仅用到那些称之为“支持向量”的样本）。 SVM特点 支持向量机与支持向量回归机 支持向量机与支持向量回归机 SVM SVR * 支持向量机是分类问题，寻求的是一个最优超平面（函数g(x) ）将两类样本点分的最开，最大间隔准则（H1和H2之间间隔最大）是支持向量机最佳准则。 H H1 H2 * 支持向量回归机寻求的是一个线性回归方程（函数y=g(x)）去拟合所有的样本点，它寻求的最优超平面不是将两类分得最开，而是使样本点离超平面总方差最小。 都要通过训练样本找到一个函数g(x) 支持向量机与支持向量回归机 * 回归问题就是给定一个新的模式，根据训练集推断它所对应的输出y（实数）是多少。也就是使用y=g(x)来推断任一输入x所对应的输出值。分类问题是给定一个新的模式，根据训练集推断它所对应的类别（如：+1，-1）。也就是使用y=sign(g(x))来推断任一输入x所对应的类别。 支持向量回归机模型 支 持向量回归机实在研究二分类问题的基础上提出的。假定在线性可分训练集中，存在一超平面： 实现拟合，那么它就将训练样本分为两类： 的训练样本和 的训练样本。若上述的超平面是实现这两类训练样本的最大间隔建立的平面，该超平面就可用于解决回归问题，它也就是要寻找的支持向量回归机。可以将其简化为最小化一个带线性不等式约束的二次函数凸规划问题： 设存在如下一个训练样本集，且线性可分： 可以转化为求解下列优化问题： 线性可分 支持向量回归机模型 引入拉格朗日乘子 至上述优化问题中，可得到拉格朗日函数： 原问题 对偶问题 根据带有不等式约束的极值问题的KKT条件： w可看做是样本向量的线性组合 支持向量回归机模型 对偶问题 对上式规划问题进行