SVM分类与回归简介.pptx

支持向量机分类与回归;支持向量回归机;什么是机器学习？ 机器学习(Machine Learning)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核 心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。 Alpaydin（2004）同时提出自己对机器学习的定义，“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。 一个有趣的例子 ;机器学习就是从给定的函数集f(x,?)(?是参数)中,选择出能够最好地逼近训练器响应的函数。 机器学习的目的可以形式化地表示为：根据n个独立同分布的观测样本 ， 在一组函数 中求出一个最优函数 对训练器的响应进行估计,使期望风险最小 其中 是未知的,对于不同类型的机器学习问题有不同形??的损失函数。 ;模式识别 令训练器的输出y只有两种取值 ，并令 为指示函数集合（指示函数只有0和1两种取值），考虑下面的损失函数： 我们把指示函数给出的答案与训练器输出不同的情况叫做分类错误，这样学习问题就变成了寻找使损失函数最小的问题。;回归估计 令训练器的输出y为实数值，并令 为实数集， 回归函数就是在损失函数最小化的函数估计 密度估计 密度估计就是从密度函数集中估计密度函数的问题 ;支持向量机（Support Vector Machine, SVM） 1963年，Vapnik在解决模式识别问题时提出了支持向量方法,这种方法从训练集中选择一组特征子集,使得对特征子集的划分等价于对整个数据集的划分,这组特征子集就被称为支持向量(SV)。 1971年，Kimeldorf提出使用线性不等约束重新构造SV的核空间,解决了一部分线性不可分问题。 1990年，Grace,Boser和Vapnik等人开始对SVM进行研究。 1995年，Vapnik正式提出统计学习理论。 ;SVM从线性可分情况下的最优分类面发展而来。 最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。 SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。;+1 -1;+1 -1;+1 -1;+1 -1;+1 -1;;;;;线性分类器;最优分类面问题可以表示成约束优化问题 Minimize Subject to 定义Lagrange函数 ;Lagrange函数 令其偏导数为0 得到;因此该问题的求解可转化为一个标准的二次优化问题，通过对该问题的求解即可完成支持向量的求解;以上所得到的最优分类函数为： 该式只包含待分类样本与训练样本中的支持向量的内积 运算，要解决一个特征空间中的最优线性分类问题,我们只需要知道这个空间中的内积运算即可。 若存在离群点，则问题变成了线性不可分？;松弛变量、核函数与特征映射;1）并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，或者也可以这么看，所有没离群的点松弛变量都等于0。 2）松弛变量的值实际上标示出了对应的点到底离群有多远，值越大，点就越远。 3）惩罚因子C决定了对离群点带来的损失的重视程度，显然当所有离群点的松弛变量的和一定时，C越大，对目标函数的损失也越大，此时就暗示着你非常不愿意放弃这些离群点，最极端的情况是你把C定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，马上让问题变成无解，这就退化成了硬间隔问题。 4）惩罚因子C不是一个变量;核函数与特征映射;一个理想的分界应该是一个“圆圈”而不是一条线（超平面）。如果用?X1?和?X2?来表示这个二维平面的两个坐标的话，我们知道一条二次曲线（圆圈是二次曲线的一种特殊情况）的方程可以写作这样的形式： 如果构造一个五维空间，则上式可表示为线性方程 ;为解决上述问题，引入核函数（Kernel Function）的概念;对应线性可分的情况，可以将分类函数写成如下内积的形式 通过核函数进行特征映射 则问题同样转化为对如下对偶问题的求解 ;计算两个向量在隐式映射过后的空间中的内积的函数叫做核函数?(Kernel Function)? 核函数能简化映射空间中的内积运算——SVM 里需要计算的地方数据向量总是以内积的形式出现的。因此分类函数可以表示为：;其中α可由如下对偶问题求解 这样计算的问题就算解决了，避开了直接在高维空间中进行计算。 常用核函数 ;SVM本身是针对经典的二分类问题提出的，支持向量回归机（Support Vector Regression，SVR）是支持向量在函数回