大数据十大经典算法SVM 讲解PPT免费下载课件.ppt

1、监督学习、非监督学习 2、机：在机器学习领域，常把一些算法看做是一个机器，如分类机(当然，也叫做分类器) 3、通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能 获得良好统计规律的目的。 图为：线性分类的例子。用一个超平面将不同类别的数据分开。 通俗的说：找到一个最宽的直线，将类别分开，超平面为直线的中心线。 类间间隔最大 - 结构风险最小 - 泛化能力强 解释 支持向量所在平面方程 为什么为+1，-1. ai有许多为0 到这个形式以后，就可以很明显地看出来，它是一个凸优化问题，或者更具体地说，它是一个二次优化问题——目标函数是二次的，约束条件是线性的。 通过给每一个约束条件加上一个 Lagrange multiplier(拉格朗日乘值)，即引入拉格朗日对偶变量α，如此我们便可以通过拉格朗日函数将约束条件融和到目标函数里去 当某个约束条件不满足时，例如?yi(wTxi+b)1，那么我们显然有?θ(w)=∞（只要令?αi=∞?即可）。而当所有约束条件都满足时，则有?θ(w)=12∥w∥2?，亦即我们最初要最小化的量。因此，在要求约束条件得到满足的情况下最小化?1/2 *∥w∥^? 实际上等价于直接最小化?θ(w)??? ? 原问题 -》 二次凸优化问题（已有很好的体系来解决此类问题） -》 对偶问题（将约束条件加入到目标函数内） -》 SMO优化问题（可以省略） 具体细节见 参考资料 内积 ，为核函数引入奠定基础。 R5空间无法显示，动态图为映射到R3空间的效果。 总结： 1、核函数的价值在于将特征进行从低维到高维的转换，但核函数事先在低维上进行计算，而将实质上的分类效果表现在了高维上，避免了直接在高维空间中的复杂计算。 2、核函数：找到某种方法，它不需要显式的将输入空间中的样本映射到新的空间中，而能够在输入空间中直接计算高维空间内积 。它其实是对输入空间向高维空间的一种隐式映射，它不需要显式的给出那个映射，在输入空间就可以计算 ，这就是传说中的核函数方法。 具体细节见 参考资料 具体细节见 参考资料 数据挖掘十大算法之 SVM 小组成员： 杨凌云、徐小江、刘洁 刘家旺、吕佳艳、伍俊 2013年10月 分类 概念： 通过构造一个分类函数或分类器的方法，该方法能把数据库中的数据项映射到给定类别中的某一个，从而可以用于预测未知数据。 数据： 线性可分 线性不可分 什么是SVM 全名：Support Vector Machine（支持向量机） 支持向量：支持或支撑平面上把两类类别划分开来的超平面的向量点。 机：一个算法 基于统计学习理论的一种机器学习方法。简单的说，就是将数据单元表示在多维空间中，然后对这个空间做划分的算法。 SVM的特点 SVM是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性之间寻求最佳折衷，以期获得最好的推广能力（或泛化能力）。 核函数 松弛变量 线性分类 1 线性分类 1 线性分类 问题 1. 如何求得最优的g(x)？ 2. 最优的标准是什么？ 3. g(x)=wx+b中的w和b如何确定？ 最优标准：分类间隔 数据表示Di=(xi,yi) 分类间隔即两分类之间的距离——越远越不易混淆 定义δi = (1/||w||)|g(xi)|，称为几何间隔 ||w||叫做向量w的范数,WX的p范数为 ||w||p=(X1^p+X2^p+...+Xn^p）^(1/p) 最优标准：分类间隔 H2与H之间的间隔便是几何间隔。其中H1：w,x+b = 1；H2：w,x+b = -1； 几何间隔与样本的误分次数间的关系：误分次数 = (2R/δ)^2，其中δ是样本集合到分类面的间隔，R=max || xi ||,i=1,...,n; 所以问题转化成为求最大δ值。 因为w是超平面的法向量，所以w实际上只由在H1平面上的样本点确定； 在H1上的向量则叫做Supported Vectors ，因为它们“撑”起了分界线。 求最大的δ 于是问题便转化成了求 很容易看出当||w||=0的时候就得到了目标函数的最小值。反映在图中，就是H1与H2两条直线间的距离无限大，所有样本点都进入了无法分类的灰色地带 解决方法：加一个约束条件 求最大的δ 我们把所有样本点中间隔最小的那一点的间隔定为1，也就意味着集合中的其他点间隔都不会小于1，于是不难得到有不等式：yi[w,xi+b]≥1 (i=1,2,…,l)总成立。 于是上面的问题便转化成了求条件最优化问题： 约束条件 这是一个凸二次规划问题，所以一定会存在全局的最优解，但实际求解较为麻烦。 实际的做法：将