支持向量机的数学原理..pptx

支持向量机（1）线性支持向量机的求解重庆大学 余俊良什么是支持向量机在右图中A图表示有两类的数据集，图B,C,D都提供了一个线性分类器来对数据进行分类？但是哪个效果好一些？什么是支持向量机?支持向量机（SVM）是90年代中期发展起来的基于统计学习理论的一种机器学习方法，通过寻求结构化风险最小来提高学习机泛化能力，实现经验风险和置信范围的最小化，从而达到在统计样本量较少的情况下，亦能获得良好统计规律的目的。在深度学习出现之前，SVM一直霸占着机器学习老大哥的位子。他的理论很优美，各种变种改进版本也很多，比如latent-SVM, structural-SVM等。通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。支持向量机的学习算法是求解凸二次规划的最优化算法。什么是支持向量机支持向量机学习方法包含构建由简至繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机。当训练数据线性可分时，通过硬间隔最大化，学习一个线性的分类器，即线性可分支持向量机；当训练数据近似可分时，通过软间隔最大化，也学习一个线性的分类器，即线性支持向量机；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。第一部分线性可分支持向量机 与硬间隔最大化线性可分支持向量机下面举个简单的例子，一个二维平面(一个超平面，在二维空间中的例子就是一条直线)，如下图所示，平面上有两种不同的点，分别用两种不同的颜色表示，一种为红颜色的点，另一种则为蓝颜色的点，红颜色的线表示一个可行的超平面。从右图中我们可以看出，这条红颜色的线把红颜色的点和蓝颜色的点分开来了。而这条红颜色的线就是我们上面所说的超平面，也就是说，这个所谓的超平面的的确确便把这两种不同颜色的数据点分隔开来，在超平面一边的数据点所对应的?y?全是 -1 ，而在另一边全是 1 。线性可分支持向量机接着，我们可以令分类函数：显然，如果?f(x)=0?，那么?x?是位于超平面上的点。我们不妨要求对于所有满足?f(x)0?的点，其对应的?y?等于 -1 ，而?f(x)0?则对应?y=1?的数据点。 当然，有些时候，或者说大部分时候数据并不是线性可分的，这个时候满足这样条件的超平面就根本不存在(不过关于如何处理这样的问题我们后面会讲)，这里先从最简单的情形开始推导，就假设数据都是线性可分的，亦即这样的超平面是存在的。线性可分支持向量机如何确定分类函数中的两个参数w和b？寻找两条边界端或极端划分直线中间的最大间隔（之所以要寻最大间隔是为了能更好的划分不同类的点），从而确定最终的最大间隔分类超平面和分类函数；进而把寻求分类函数 的问题转化为对w，b的最优化问题。函数间隔?一般而言，一个点距离超平面的远近可以表示为分类预测的确信或准确程度。在超平面w*x+b=0确定的情况下，|w*x+b|能够相对的表示点x到距离超平面的远近，而w*x+b的符号与类标记y的符号是否一致表示分类是否正确，所以，可以用量y*(w*x+b)的正负性来判定或表示分类的正确性和确信度。于此，我们便引出了定义样本到分类间隔距离的函数间隔functional margin的概念。我们定义函数间隔functional margin?为：?定义超平面(w，b)关于训练数据集T的函数间隔为超平面(w，b)关于T中所有样本点(xi，yi)的函数间隔最小值，其中，x是特征，y是结果标签，i表示第i个样本，有：几何间隔函数间隔虽然可以表示分类预测的正确性和确信度，但在选择分类超平面时，只有函数间隔还远远不够，因为如果成比例的改变w和b，如将他们改变为2w和2b，虽然此时超平面没有改变，但函数间隔的值f(x)却变成了原来的2倍。其实，我们可以对法向量w加些约束条件，使其表面上看起来规范化，如此，我们很快又将引出真正定义点到超平面的距离--几何间隔的概念。对于给定的训练数据集T和超平面（w,b），定义超平面关于样本点(x,y)的几何间隔为：定义超平面(w，b)关于训练数据集T的几何间隔为超平面(w,b)关于T中所有样本点(xi，yi)的几何间隔最小值， r = min ri (i=1,2,…n) 支持向量和间隔边界在线性可分情况下，训练数据集的样本点与分离超平面距离最近的样本点的实力称为支持向量，支持向量是使约束条件式y(i)(wTx(i)+b)≥1, i=1,2,3……m中等号成立的的点。在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用 间隔最大化支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，对线性可分的数据集而言，线性可分分离超平面有无穷多个（等价于感知机），但是几何间隔最大的分离超