支持向量机2材料.ppt

优点：结构风险最小化； 凸优化，全局最优； 具有很强的泛化能力； 核函数技巧不增加计算复杂性，克服维数灾难； 局限： 1、如何选择核函数还不成熟？ 2、SVM的计算速度，尤其是实时问题？ 3、SVM考虑固定的惩罚系数C，而实际正负样本 误判造成的损失往往不同； 软间隔最大化与松弛变量 如图黄色点是负类的一个样本，这单独的一个样本，使得原本线性可分的问题变成了线性不可分的。这样类似的问题叫做“近似线性可分”问题。 考虑容错性，允许一些点到分类平面的距离不满足原先的要求，即加入松弛变量，最优问题为 松弛变量非负，即允许某些点的间隔比1小。 但是当某些点间隔比1小时，意味着我们放弃了对这些点的精确分类，这对分类器而言是某种损失，必须在不太影响原目标的前提下使损失尽量小。 注1、并非所有的样本点都有一个松弛变量与其对应。实际上只有“离群点”才有，没离群的点松弛变量都等于0 。 注2、松弛变量的值表示对应的点到底离群有多远，值越大，点就越远。 注3、惩罚因子C决定了你有多重视离群点带来的损失，C越大，对目标函数的损失也越大，此时暗示着你非常不愿意忽略这些离群点；最极端的情况是你把C定为无限大，这样只要稍有一个点离群，目标函数的值马上变成无限大，问题无解。 注4、惩罚因子C在整个优化问题求解过程中，是一个事先指定的常数。指定该以后，解一下，得到一个分类器，然后用测试数据看看结果怎么样，如果不够好，换一个C的值，再解一次优化问题，得到另一个分类器，再看看效果，如此就是一个参数寻优的过程，但这和优化问题本身决不是一回事，优化问题在解的过程中，C一直是定值。 带松弛变量的最优分类面问题 定义广义Lagrange函数 如果优化问题有解，则等价于 （目标函数以及不等式约束为凸函数）如果满足KKT条件， 则等价于 具体计算 代回函数L后得二次函数的条件极值问题 非线性支持向量机与核函数 如图，通过变换可将图中的椭圆分隔变换成直线分隔。 注、核函数比映射重要。 定义（核函数）令 是一个向量映射，称函数 是核函数。 假设输入空间是2D， ，求 不唯一！ 注意到线性分类的二次函数的极值问题为