《支持向量机-支持向量机》-课件设计（公开）.pptVIP

支持向量机(Support Vector Machine, SVM) 制作人：田媛 2014.5.23 目录 SVM的理论基础 线性支持向量机：可分情况 线性支持向量机：不可分情况 非线性支持向量机 多类问题 SVM方法的特点 1.1最大边缘超平面 最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。 SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域(margin)最大。 过两类样本中离分类面最近的点且平行于最优分类面的超平面上b11,b12的训练样本就叫做支持向量。 决策边界的边缘 1.2结构风险最小化 泛化误差界的公式为： 公式中R就是真实风险，Re就是经验风险， 就是置信风险。统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。 经验风险，代表了分类器在给定样本上的误差；置信风险，代表了我们在多大程度上可以信任分类器在未知文本上分类的结果。 根据训练误差Re、训练样本数N和模型的复杂度h,给出了分类器的泛化误差的一个上界R。 2.线性支持向量机：可分情况 SVM的决策边界和边缘 2.线性支持向量机：可分情况 对于任意学习样本，其分布必然在直线之上或直线之下。即有 将以上两式合并，有 在选择分类线的过程中，上式对于任何学习样本都必须成立。在此前提下寻找最宽边界的问题，最后可以表示成一个约束优化问题： 2.线性支持向量机：可分情况 根据上述条件构造拉格朗日函数： 分别对w和b求导： 2.线性支持向量机：可分情况 处理不等式约束的一种方法就是把它变换成一组等式约束。只要限制拉格朗日乘子非负，这种变换便是可行的： 乍一看，拉格朗日乘子的数目好像和训练样本的数目一样多。事实上，应用上式给定的约束后，许多拉格朗日乘子都变为零。该约束表明，除非训练实例满足方程yi(w*xi+b)=1,否则拉格朗日乘子必须为零。那些λi0的训练实例位于超平面l1或l2上，称为支持向量。 例：考虑下图给出的二维数据集，它包含8个训练实例 使用二次规划方法，可以得到每一个训练实例的拉格朗日乘子 ，如表的最后一列所示。注意，仅前面两个实例具有非零的拉格朗日乘子。这些实例对应于该数据集的支持向量。 令w=(w1,w2),b为决策边界的参数，求得w和b,对b取平均： 线性可分数据集 3.线性支持向量机：不可分情况 对线性不可分情况，必须放松不等式约束，以适应非线性可分数据。即引入正值的松弛变量ζ，如下式所示： 理论上，可以使用和前面相同的目标函数，然后加上上述的约束条件来确定决策边界。然而，由于在决策边界误分样本的数量上没有限制，学习算法可能会得到这样的决策边界，它的边缘很宽，但是误分了很多训练实例。为了避免这种情况，必须修改目标函数，以惩罚那些松弛变量值很大的决策边界。修改后的目标函数如下： 其中C和k是用户指定的参数，表示对误分训练实例的惩罚。 4.1非线性支持向量机 考察图中给出的二维数据集，可以使用下面的公式对数据集中的实例分类： 因此，数据集的决策边界可以表示如下： 还可以进一步简化为下面的二次方程： 需要一个非线性变换Φ，将数据从原来的特征空间映射到一个新的空间，决策边界在这个空间下成为线性的。假定选择下面的变换： 在变换的空间中，我们找到参数w=(w0,w1,……,w5)，使得： 变换后空间中的决策边界 4.2核技术：解决维数灾难 核技术是一种使用原属性集计算变换后的空间中的相似度的方法，考虑映射函数Φ，两个输入向量u和v在变换后的空间中的点集可以写成如下形式： 这个在原属性空间中计算的函数称为核函数。 具有多项式核的非线性SVM产生的决策边界 常用的核函数有： 4.3.松弛变量与核函数的区别 引入松弛变量的目的解决线性不可分问题，但是回想一下，核函数的引入不也是为了解决线性不可分的问题么？为什么要为了一个问题使用两种方法呢？ 其实两者还有微妙的不同。一般的过程应该是这样，还以文本分类为例。在原始的低维空间中，样本相当的不可分，无论你怎么找分类平面，总会有大量的离群点，此时用核函数向高维空间映射一下，虽然结果仍然是不可分的，但比原始空间里的要更加接近线性可分的状态（就是达到了近似线性可分的状态），此时再用松弛变量处理那些少数“冥顽不化”的离群点，就简单有效得多啦。 5.多类问题 在解决现实问题(如特征识别、人脸识别和文本分类等)时，输入数据都被划分为多于两个类。令Y=(y1,y2,……，yk)是输入数据的类标号的集合。 第一种方法将多类问题分解成K个二类问题。为每一个类yi∈Y创建一个二类问题，其