机器学习之支持向量机SVM算法1.docx

机器学习之支持向量机SVM算法1

1.背景：

最早是由?VladimirN.Vapnik和AlexeyYa.Chervonenkis在1963年提出

目前的版本(softmargin)是由CorinnaCortes和Vapnik在1993年提出，并在1995年发表

深度学习（2012）出现之前，SVM被认为机器学习中近十几年来最成功，表现最好的算法

2.机器学习的一般框架：

???训练集=提取特征向量=结合一定的算法（分类器：比如决策树，KNN）=得到结果

3.介绍：

例子：

问题：两类？哪条线最好？

SVM寻找区分两类的超平面（hyperplane),使边际(margin)最大

问题：总共可以有多少个可能的超平面？无数条？何选取使边际(margin)最大的超平面(MaxMarginHyperplane)？

超平面到一侧最近点的距离等于到另一侧最近点的距离，两侧的两个超平面平行。

4.线性可区分(linear?separable)和线性不可区分（linear?inseparable)?

5.定义与公式建立

超平面可以定义为：

W:weightvectot；n是是特征值的个数；?X:训练实例；?b:bias

6.求解

问题：?SVM如何找出最大边际的超平面呢(MMH)？

利用一些数学推倒，以上公式（1）可变为有限制的凸优化问题(convexquadraticoptimization)，?利用Karush-Kuhn-Tucker(KKT)条件和拉格朗日公式，可以推出MMH可以被表示为以下“决定边界(decision?boundary)”???

对于任何测试（要归类的）实例，带入以上公式，得出的符号是正还是负决定。

7.举例