支持向量机3材料.pptVIP

支持向量机 假定训练数据 分类平面为 所有训练数据到平面的最小几何距离(可信度） 最优分类面问题可以表示成约束优化问题 定义广义Lagrange函数 如果优化问题有解，则等价于（无约束问题） 如果满足KKT条件时，等价于 令 代回函数L后得 软间隔最大化与松弛变量 如图黄色点是负类的一个样本，这单独的一个样本，使得原本线性可分的问题变成了线性不可分的。这样类似的问题叫做“近似线性可分”问题。 考虑容错性，允许一些点到分类平面的距离不满足原先的要求，即加入松弛变量，最优问题为 松弛变量非负，即允许某些点的间隔比1小。 但是当某些点间隔比1小时，意味着我们放弃了对这些点的精确分类，这对分类器而言是某种损失，必须在不太影响原目标的前提下使损失尽量小。 注1、并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，没离群的点松弛变量都等于0 。 注2、松弛变量的值表示对应的点到底离群有多远，值越大，点就越远。 注3、惩罚因子C决定了你有多重视离群点带来的损失，C越大，对目标函数的损失也越大，此时暗示着你非常不愿意忽略这些离群点；最极端的情况是你把C定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，问题无解。 注4、惩罚因子C在整个优化问题求解过程中，是一个事先指定的常数。指定该以后，解一下，得到一个分类器，然后用测试数据看看结果怎么样，如果不够好，换一个C的值，再解一次优化问题，得到另一个分类器，再看看效果，如此就是一个参数寻优的过程，但这和优化问题本身决不是一回事，优化问题在解的过程中，C一直是定值。 带松弛变量的最优分类面问题 定义广义Lagrange函数 如果优化问题有解，则等价于 （目标函数以及不等式约束为凸函数）如果满足KKT条件， 则等价于 类似线性可分的情形，令导数等于0 代回函数L后得二次函数的条件极值问题 求解方法：坐标上升法 固定除 之外的所有参数，这时W可看作只是关于 的函数，那么直接对 求导优化即可。 可以通过更改优化顺序来使W能够更快地增加并收敛。 如果W在内循环中能够很快地达到最优，那么坐标上升法会是一个很高效的求极值方法。 问题？ 因为问题中规定了 因此，我们最少一次需要选取两个参数做优化。 序列最小最优化SMO算法 SMO算法由Microsoft Research的John C. Platt在1998年提出，并成为最快的二次规划优化算法，特别针对线性SVM和数据稀疏时性能更优。 第一步选取一对参数，选取方法使用启发式方法（Maximal violating pair） 第二步，固定除被选取的参数之外的其他参数，确定W极值。 SMO算法 设我们选取了初始值满足了问题中的约束条件。则 由于其余参数都是已知固定，等式右边标记成实数值。 进而 参数的求解 最终参数的解为： 其中： 和 ？ 限制 当a1和a2异号时，也就是一个为1，一个为-1时，他们可以表示成一条直线，斜率为1。如下图： 横轴是 ，纵轴是 ， 和 既要在矩形方框内， 也要在直线上，因此 同理， 当 和 同号时 a2 a1 C C a1-a2=E (0,-E) (C,C-E) { { 参数计算： b的求解 设 在界内，则 有 ，带入上式得： 两边同乘以 ，得 b的求解 在界内，则 在界内，则 、 都在界内，则情况1和情况2的B值相等，任取一个； 都不在界内，则 取值为情况1和情况2的平均。 问题？ 算法如何终止？ 对于SMO算法，其中的两个参数如何选择呢？ 随机？启发式规则？ 一个自然的想法是那些违反KKT最严重的点，他们对间距贡献最大，因此可以通过该启发规则来完成调整参数的选取。（并且此种启发规则计算量小） KKT条件 在精度e范围内进行 第1个变量： 先检查所有支持向量点，找到违反KKT（最严重）的点，若没有，检查所有向量点； 第2个变量： 注意对E1-E2的依赖性（正比）,选择|E1-E2|变化最大。先检查所有支持向量点，如果选择的第2个变量不能使目标函数有足够的下降，则遍历所有的样本点； 如果选出来的第2个变量仍不满足足够下降，则放弃第1个变量，重新选择第1和第2个变量；