支持向量机原理.pptVIP

支持向量机 2014-2-21 本讲主要内容 一. 支持向量机 二. 最大间隔分类器 三. 核函数 四.软间隔优化 五.支持向量机总结 一. SVM— warming up 1.1 SVM概念简介 1.2 超平面 1.3 logistic回归 1.4 形式化表示 1.5 函数间隔与几何间隔 1.1 SVM概念简介 支持向量机（SVM）是 90 年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。 通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。 1.2 超平面 超平面H是从n维空间到n-1维空间的一个映射子空间。 设d是n维欧式空间R中的一个非零向量， a是实数，则R中满足条件dX=a的点X所组成的集合称为R中的一张超平面。 1.3 logistic回归 Logistic 回归目的是从特征学习出一个 0/1 分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic 函数（或称作 sigmoid 函数）将自变量映射到(0,1)上，映射后的值被认为是属于 y=1 的概率。 1.3 logistic回归 形式化表示： 假设函数为： x 是 n 维特征向量，函数 g 就是 logistic 函数。 其中 图像如图所示： 可以看到，将无穷映 射到了(0,1) 1.4 形式化表示 结果标签是y=-1,y=1，替换logistic回归中的y=0和y=1。 同时将替换成w和b。以前的 ，其中认为 。现在我们替换 为b，后面 替换为 （ 即 ）。 我们只需考虑 的正负问题，而不用关心g(z)，因此我们这里将g(z)做一个简化，将其简单映射到y=-1和y=1上。映射关系如下： 1.5 函数间隔与几何间隔 定义函数间隔为： x是特征，y是结果标签。i表示第i个样本。（这是单个样本） 全局函数间隔： 在训练样本上分类正例和负例确信度最小那个函数间隔 1.5 函数间隔与几何间隔 几何间隔： 全局几何间隔： 二. 最大间隔分类器 2.1 二次规划原问题建立 2.2 拉格朗日对偶 2.2.1 等式约束 2.2.1 不等式约束 2.3 最大间隔分类器 2.1 二次规划原问题建立 形式1： 形式2： 形式3： 2.2拉格朗日对偶之等式约束 问题： 目标函数是f(w)，通常解法是引入拉格朗日算子，这里使用来表示β算子，得到拉格朗日公式为 ： L是等式约束的个数。然后分别对w和β求偏导，使得偏导数等于0，然后解出w和β。 2.2拉格朗日对偶之不等式约束 问题： 利用拉格朗日公式变换： 令 知 2.2拉格朗日对偶之不等式约束 原来要求的min f(w)可以转换成 求了。 ??? 利用对偶求解:? D的意思是对偶， 将问题转化为先求拉格朗日关于w的最小值，将α和β看作是固定值。之后在 求最大值的话：??? 2.2拉格朗日对偶之不等式约束 下面解释在什么条件下两者会等价。假设f和g都是凸函数，h是仿射的。并且存在w使得对于所有的i， 。在这种假设下，一定存在 使得是 原问题的解， 是对偶问题的解。还有另外， 满足库恩-塔克条件（Karush-Kuhn-Tucker, KKT condition），该条件如下： ???? 2.3 最大间隔分类器 重新回到SVM的优化问题： 我们将约束条件改写为： 2.3 最大间隔分类器 ? 从KKT条件得知只有函数间隔是1（离超平面最近的点）的线性约束式前面的系数 ，也就是说这些约束式 ，对于其他的不在线上的点( )，极值不会在他们所在的范围内取得，因此前面的系数 .注意每一个约束式实际就是一个训练样本。 2.3 最大间隔分类器 实线是最大间隔超平面，假设×号的是正例，圆圈的是负例。在虚线上的点就是函数间隔是1的点，那么他们前面的系数 ，其他点都是 。这三个点称作支持向量。构造拉格朗日函数如下： 2.3 最大间隔分类器 下面我们按照对偶问题的求解步骤来一步步进行， 首先求解 的最小值，对于固定的 ， 的