学习SVM.docxVIP

支持向量机SVM 1.支持向量机简介: 支持向量机SVM(Support Vector Machine)是统计机器学习的一类重要算法,它是根据统计学习理论，以结构风险最小化原则为理论基础的一种新的机器学习方法，能有效地解决高维数和非线性等问题，有效地进行分类、回归等。 结构风险最小化原则: 统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。 VC维：对于一个给定集合S={x1, ... ,xd}，如果一个假设类H能够实现集合S中所有元素的任意一种标记方式，则称H能够分散S。H的VC维表示为VC(H) ，指能够被H分散的最大集合的大小。VC维反映了 HYPERLINK /view/15061.htm \t _blank 函数集的学习能力，VC维越大则学习机器越复杂（容量越大） 2.SVM基本原理 2.1量化原则：分隔的间隙越大越好，把两个类别的点分得越开越好，通常使用“分类间隔”作为指标。 具有最大间隔的线性分类器叫做最大间隔线性分类器。 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM) 在SVM中，这种最大的分隔间隙称为Maximum Marginal，是SVM的一个理论基础。 直线g(x) = w· x + b，这里的w、x是向量 这种形式也等价于g(x) = w1x1 + w2x2 … + wnxn + b 当有一个新的点x需要预测属于哪个分类的时候，我们用sgn(g(x))，就可以预测了 这里sgn表示符号函数 当g(x) 0时，sgn(g(x)) = +1 当g(x) 0时，sgn(g(x)) = –1 2.2最优分类超平面 分类超平面： 算法基本思想步骤： 1.示例分析 假设样本中只有两类东西，C1和C2是要区分的两个类别，在二维平面中可以用一条直线将这两类样本完全分开。如果一个线性函数能够将样本完全正确分开，就称这些数据时线性可分的。 C1 C2 线性函数： 一维空间：一个点 二维空间：一条直线 三维空间：一个平面 若不关注空间的维数，这种线性函数就称作——超平面 假设有一个线性函数：g(x)=wx+b 注：x、w是向量 中间那条直线的表达式是g(x)=0，即wx+b=0，叫做分类面。 若g(xi)0,则判别为C1，若g(xi)0,则判别为C2，通过判别函数f(x)=sgn[g(x)]可以判断x到底是属于哪一类别。 2.用分类间隔衡量解决方案好坏 在进行文本分类时，每一个样本由一个向量和一个标记组成：Di=(xi,yi) 注：Xi是文本向量，yi是分类标记，在二元线性分类标记中只有两个值，1和-1。 定义某个样本点到超平面的间隔: 因为属于C1类别时，yi=1,wxi+b0,属于C2类别时，yi=-1,wxi+b0，所以有上式。 几何间隔： 把w和b进行归一化，即用w/||w||和b/||w||分别代替原来的w和b 得到： 几何间隔表示的是点到超平面的欧氏距离H是分类面，H1与H之间的距离，H2与H之间的距离为几何间隔 误分次数≤2Rδ几何2 R=max||xi|| i=1,…,n 即R是所有样本中向量长度最长的值，所以误分次数上界由几何间隔决定！ 为使误分次数最小，几何间隔要最大，通常做法为固定间隔为1，寻求最小||w||，而得到最大的几何间隔。 目标：min||w|| 可以用一个完全等价的目标函数来代替——min12||w||2 因为min12||w||2形式会使变换后的形式更为简洁 讨论：若不考虑条件限制，则min12||w||2为0，那么H1和H2之间的距离为无限大，这样就无法把样本分在H1 H2的某一侧，就会全在其之间。所以求取最小值时必须有约束条件！前文提到过把间隔定为1，也就意味着集合中的其他样本点到H平面的间隔不会小于1。所以有条件：δi≥1即yi[wxi+b]≥1（i=1,2…,l）（l是总的样本数） 优化问题： 这个问题中。自变量w，目标函数是w的二次函数，又因为这个问题存在全局最优解，所以称为凸二次规划。 我们可以把带不等式约束的问题向只题转化而求解 转化为对偶问题，并优化求解: 这个优化问题可以用 HYPERLINK /wiki/Lagrange_multiplier 拉格朗日乘子法去解，使用了 HYPERLINK /wiki/Karush%E2%80%93Kuhn%E2%80%93Tucker_conditions KKT条件的理论，这里直接作出这个式子的拉格朗日目标函数： L(