SVM精简版概括.docVIP

SVM精简版概括（一） ①相关概念： ⑴VC维 对于一个指示函数（即只有0和1两种取值的函数）集，如果存在h个样本能够被函数集里的函数按照所有可能的种形式分开，则称函数集能够把h个样本打散，函数集的VC维就是能够打散的最大样本数目h。 ⑵学习精度和推广性 推广能力（或“泛化能力”）：学习机器对未来输出进行正确预测的能力 过学习:在某些情况下,训练误差过小反而导致推广能力的下降 学习精度和推广性之间似乎是一对不可调和的矛盾,采用复杂的学习机器虽然容易使得学习误差更小,却往往丧失推广性。 ⑶推广性的界 根据统计学习理论(SLT)中关于函数集推广性界的理论,对于指示函数集中所有的函数,经验风险和实际风险之间至少以概率满足关系式其中，h是函数集的VC维,n是样本数。 ⑷结构风险最小化(SRM)准则 把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。 图1SRM准则 实现SRM原则的两种思路 1每个子集中求最小经验风险,然后选择使最小经验风险和置信范围之和最小的子集。 2设计函数集的某种结构使每个子集中都能取得最小的经验风险,然后只需选择适当的子集使置信范围最小,则这个子集中使经验风险最小的函数就是最优函数。支持向量机方法实际上就是这种思路的实现. ② Support Vector Machine ⑴SVM的主要思想 1针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能； 2基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化,并且在整个样本空间的期望风险以某个概率满足一定上界。简单地说，就是升维和线性化．升维SVM应用核函数的展开定理在高维特征空间中建立线性学习机几乎不增加计算的复杂性，在某种程度上避免了“维数灾难”选择不同的核函数，可以生成不同的SVM，常用的核函数有以下4种： (1)线性核函数K(x,y)=x·y； (2)多项式核函数K(x,y)=[(x·y)+1]d； (3)径向基函数K(x,y)=exp(-|x-y|^2/d^2) (4)二层神经网络核函数K(x,y)=tanh(a(x·y)+b)． ?????? 其中K就是核函数，起作用在于将低维度线性不可分样本向高纬线性可分样本作映射。 ?????? X‘ = K(w, X) + b; 将低维度的X映射到了高纬度上的X’⑵SVM的主要特征 (1)基于结构风险最小化(SRM,structuralriskminimization)原则,保证学习机器具有良好的泛化能力； (2)解决了算法复杂度与输入向量密切相关的问题； (3)通过引用核函数,将输入空间中的非线性问题映射到高维特征空间中在高维空间中构造线性函数判别； (4)是以统计学理论为基础的,与传统统计学习理论不同。它主要是针对小样本情况,且最优解是基于有限的样本信息,而不是样本数趋于无穷大时的最优解； (5)算法可最终转化为凸优化问题,因而可保证算法的全局最优性,避免了神经网络无法解决的局部最小问题； (6)有严格的理论和数学基础,避免了神经网络实现中的经验成分。⑶SVM的主要应用领域 手写数字识别、语音识别、人脸识别、文本分类 /25-to-life/archive/2011/11/12/2246430.html /linglingbaby/article/details/6732310 /v_july_v/article/details/7624837 ①支持向量机补充 机器学习本质上就是一种对问题真实模型的逼近 支持向量机支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。小样本，并不是说样本的绝对数量少（实际上，对任何算法来说，更多的样本几乎总是能带来更好的效果），而是说与问题的复杂度比起来，SVM算法要求的样本数是相对比较少的。 非线性，是指SVM擅长应付样本数据线性不可分的情况，主要通过松弛变量（惩罚变量）和核函数技术来实现。 高维模式识别是指样本维数很高，例如文本的向量表示，主要是因为SVM 产生的分类器很简洁，用到的样本信息很少仅仅用到那些称之为“支持向量”的样本，使得即使样本维数很高，也不会给存储和计算带来大麻烦支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（