关于支持向量机几点思想.docVIP

关于支持向量机几点思想 　　摘 要：介绍了机器学习的发展过程，介绍了支持向量机在结构风险最小化的思想，介绍了支持向量机算法思想，介绍了通过核函数从样本空间映射到高维空间，使得本来在样本空间中线形不可分的数据，在高维空间中变得线形可分，最后通过例子使得我们对支持向量机思想有更清晰的认识。?? 　　关键词：支持向量机；核函数；结构风险最小化?? 　　中图分类号：TP311.11 文献标识码：A 文章编号：1672-7800（2011）10-0011-03?お? 　　?? 　　作者简介：周尤明(1972-)，男，江西泰和人，博士，湖州职业技术学院讲师，研究方向为人工智能。 　　 　　1 机器学习的发展 ?? 　　基于数据的机器学习按实现方法大致分为3种：第一种是经典的(参数)统计估计方法；第二种为经验非线性方法，如人工神经网络方法；第三种是统计学习理论。它的发展可以分为4个阶段：①学习机器的产生；②学习理论基础的创立；③神经网络的创立；④统计学习理论。?? 　　2 经验风险最小化原则?? 　　学习的目的是根据给定的训练样本求系统输入输出之间的依赖关系。学习问题可以一般地表示为变量y 与x之间存在的未知依赖关系，即遵循某一未知的联合概率F(x,y)。机器学习问题就是根据n个独立同分布观测样本：?? 　　(x-1,y-1),( x-2,y-2),…,( x-n,y-n)（1）?? 　　在一组函数{f(x,w)}中求一个最优的函数f(x,w)对依赖关系进行估计，使期望风险R(w)=∫L(y,f(w,w))dF(x,y)（2）最小。其中{f(x,w)}称作预测函数集，w为函数的广义参数。{f(x,w)}可以表示任何函数集。L为由于用f(x,w)对进行预测而造成的损失。不同类型的学习问题有不同形式的损失函数。在传统的学习方法中，采用了所谓的经验风险最小化（ERM，Empirical RiskMinimization）原则，即用样本定义经验风险?? 　　R-{emp}(w)=(1/m)∑+m-{i=1}L(y-i,f(x-i,w))(2)?? 　　机器学习就是要设计学习算法使R-{emp}(w)最小化，作为对式（2）的估计。?? 　　 在早期的神经网络研究中，人们总是把注意力集中在如何使R-{emp}(w)更小，但很快发现一味追求训练误差小并不是总能达到好的预测效果。在某些情况下，当训练误差过小反而会导致推广能力的下降。此即几乎所有神经网络研究者都曾遇到过的过学习问题。出现过学习的原因有，一是学习样本不充分；二是学习机器设计不合理。这两个问题是相互关联的，在神经网络学习中，对于有限样本，如果神经网络的学习能力过强，足以记住每一个训练样本，此时经验风险很快就可以收敛到很小甚至为零，但是无法保证它对新训练样本能够得到好的预测。因此，在有限样本情况下，经验风险最小化并不一定意味着期望风险最小，而且学习机器的复杂性不仅要与所研究的系统有关，还要与有限的学习样本相适应。即有限样本下学习机器的复杂性和推广能力之间存在着矛盾，采用复杂的学习机器容易使学习误差更小，但却往往丧失了推广能力。统计学习理论的发展为解决此问题提供了坚实的理论基础和有效方法。?? 　　3 统计学习理论?? 　　 统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论。它从理论上系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与期望风险的关系以及如何利用这些理论找到新的学习原则和方法的问题。统计学习理论主要内容包括：分析算法推广能力的基础即函数集的VC维（Vapnik-Chervonenkis dimension）理论；学习过程一致性概念和关键定理；结构风险最小化原则。?? 　　(1)函数集的VC维。统计学习理论是关于小样本进行归纳学习的理论，其中一个重要的概念是VC维，VC维概念是建立在点集被“打散”的概念基础上。?? 　　定义1设F 是一个假设集，即由在X??Rn上取值为-1或＋1的若干函数组成的集合。记Z-m={ x-1,…, x-m}为X中的m个点组成的集合。考虑当取遍中的所有可能的假设时产生的m维向量(f(x-1)…f(x-N)) 。定义(F,Z-m)为上述m维向量中不同的向量的个数。?? 　　定义2设F是一个假设集，Z-m={ x-1,…, x-m}为X中的m个点组成的集合，若(F,Z-m)=2+m，称Z-m被F打散，或F打散Z-m。(3)?? 　　定义3（增长函数）增长函数N(F,m)定义为?? 　　N(F,m)=max{(F,Z-m): Z-m??X} (4)?? 　　其中，Z-m ={ x-1,…, x-m}是X中的m个点组成的集合，max{#8226;}是对整个X中点而言的。?? 　　定义4（VC维