SVM简介.docVIP

支持向量机综述 摘要：支持向量机（Support Vector Machine）简称SVM，自从Cortes 和 Vapink提出以来，SVM在机器学习领域的很广泛的应用，SVM产长处理高维尤其是文本问题以及小样本问题，.在本文中，将主要介绍支持向量机的相关理论，以及利用支持向量机处理分类和回归的问题的过程。 关键字：支持向量机、VC维、结构风险、核技术、回归、分类 1：相关理论 支持向量机是基于统计学习理论的，在本节中，我们首先要介绍以下相关的主要统计学习理论。 1.1:VC维 统计学习理论的核心思想是通过控制学习机器的容量实现对推广能力的控制，在支持向量机中，VC维便是学习机器的容量的一个度量，VC维越高说明学习机器越复杂，推广能力便越差。 要理解VC维的概念，必须要首先明白打散的概念，给定一个点的集合(x1,x2...xn)其中xi是一个向量，代表一个点的坐标，我们需要对集合中的每一个点记性标记（1-或1）来标明一个点属于哪个类，对于一个分类器f（x），若f（x）0,那么该点归于1类，若f(x)0,该点归于-1类，显而易见，总共有2n个可能的分类情况（总共n个点，每个点有两种可能分类），给定一个函数集Fset={F(x)|F(x)=wx+b}，若对于每一种分类情况，如果我们都能找到一个f（x）属于Fset满足这种分类情况，我们就说这个点集可以被Fset打散。 Fs的VC维即最大的可以被Fs打散的点集中的点的个数。为了便于理解， 下面我们将针对一个例子来求其VC维。 给定函数集Fs1={F(x1,x2)|F(x1,x2)=ax1+bx2+c},函数是定义在二维空间的线性函数，当点集中只存在一个点时，那么就只存在两种分类情况，很容易找到一个函数即可完成对其的分类。两个点时只需要取两个点的中垂线对应的函数即可完成对点集的分类，三个点的情况总共有8种分类情况，对于这8种情况，我们都可以找到一个线性函数完成分类（见图1） 图1：点集中有三个点时，对于任何一种分类情况，都能顺利的找到一个分类器 但是当点集中有四个点是，在有些情况下便无法找到一个合适的分类器完成分类，若四个点构成一个凸多边形，当要求处于凸多边形对角线为一类时，我们便无法找到合适的线性函数完成分类（见图2） 图2：点集中有四个点时，线性函数无法分类的情况 因此，函数Fs1的VC维是3。 1.2:经验风险和结构风险 机器学习的最重要的目的是期望风险最小化，但是在仅仅知道一个很小的训练集的情况下，便无法得到期望风险。直觉上，我们可以采用经验风险来代替，经验风险即通过训练集得到的误差，许多学习方法诸如神经网络和最小二乘都是采用的经验风险最小化这一方案，实际上，即使我们有一个很大的训练集，我们总可以找到一个非常复杂的解决方案使经验风险很（如非常高次的多项式），但是这种解决方案的推广能力就会比较差，而且也无法证明解决方案无限复杂是经验风险会趋近于期望风险，在支持向量机中，我们采用结构风险最小化这一方案，结构风险由两部分组成：经验风险和置信界限，当解决方案非常复杂时，也就VC维非常高的是，置信界限就会非常高，导致真实风险与经验风险之间的差别越大。解决方案就越不可取。 2：支持向量机分类 问题定义：给定一个训练集{(x1,y1).............(xm,ym)}，xi是一个n为向量，代表该点的坐标。ym代表该点所属的类，在二元分类其中，ym可以取1或-1。V(y,f(x))是点x的误差，其中f（x）是分类器函数，若f（xi）0.则ym=1,否则ym=-1，我们的目的是找到一个f（x），是期望风险最小，期望风险的定义如下： (1) 2.1二元线性分类器 线性分类器是分类问题中最简单的部分，非线性分类的问题可以通过核技术转化线性分类器，因此我们将在这里详细介绍支持向量机中的线性分类器。 在线性分类器中，分类器是一个超平面f(x)=wx-b=0，若f(x)0，那么改点属于类1，若f(x)0 该点属于类-1.也就是说class(x,w,b)=sign(w.x-b)，在很多情况下，对于一个训练集，通常会存在很多正确的分类器。 图3 一个训练集的多个分类器 如何选择一个最好的分类器，我们需要设定一个标准来盘段，首先观察以下两个分类器（图4）。 图4 同一训练集的两个分类器 L1和L2哪一个比较好的分类器？从直觉上看，l1比l2好，因为类基本上位于两个类的“中间”，如果再来一个点，这个分类器能将其正确分类的可能性比较大。实际上也是如此，但是我们需要一个量化的标准，对于一个二元分类问题。点的定义为二元组（xi,yi）(i=1,2,......n)其中xi=（xi1,xi2,...