SVM难点解读.pptVIP

SVM难点解读 助教：曹扬 直观理解为何要最大化间隔 如右图所示，假设我们已经学习了一个模型，将平面线性分割为两部分。 A离分界面很远，所以我们很有信心A的类型应该是x。 C离分界面很近，很小的波动就可能使它跑到分界面下方，所以我们对C的类型是x信心不大。 直观理解为何要最大化间隔 总的来说，一个点离分界面越远，我们对预测结果就越有信心。 因此，我们希望模型能让所有训练数据都离分界面尽量远。 一个例子：某次考试以60分为界，高于60分定为优生，低于60分定为差生。某学生成绩为90分，我们很有信心他是优生；某学生成绩为65分，我们不太确定他确实为优生。 SVM记号（接下来讨论的基础） SVM中的概念（接下来讨论的基础） 函数间隔 几何间隔 函数间隔 比较A点和B点的函数间隔 可见A的函数间隔较大 函数间隔 分界面没有变化，函数间隔扩大为原来2倍，没有意义。 几何间隔 函数间隔 几何间隔 一个等腰直角三角形 如何最大化几何间隔 如何最大化几何间隔 上述表达式直接求解很困难。 通过一定的转化（大家可以自行尝试），我们可以得到右图中的表达式。 然后就可以用最优化的方法来解决该问题（超出本课程讨论范围） 小结 以上文字比较直观地解释了SVM的基本思想。（并不是非常严谨） SVM还可以通过核函数，将线性的分界面扩展为非线性的分界面。