vm基本原理及其发展概述.docxVIP

夕％层凉原理及曳安晨概述 摘要：支持向量机(S叩port Vector Machine, SVM)是一种基于统计学习理论的新型机器 学习方法，它采用了结构风险最小化原则来代替了经验风险最小化能较好地解决小样本学习 的问题；还采用核函数思想，把非线性空间的问题转换到线性空间，降低了算法的复杂度。 正因为SVM有较完备的理论基础和较好的学习性能，在解决有限样本、非线性及高维模式 识别问题中表现出许多特有的优势，成为当前机器学习领域的研究热点问题之一，并在很多 领域都得到了成功的应用。 关键词：数据挖掘；统计理论；支持向量机 中图分类号：TP301 文献标识码：A 文章编号： 1统计学习理论 统计学习理论是SVM的理论基础。基于数据的机器学习是现代智能技术中的重要方血, 研究从观测样本出发寻找规律，利用这些规律对未來数据或无法观测的数据进行预测。包括 模式识别、神经网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。传统统 计学研究的是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设。但在实 际问题屮，样本数往往是有限的，因此一些理论上很优秀的学习方法实际川表现却可能不尽 人意。与传统统计学相比，统计学习理论(Statistical Learning Theoiy, SLT)是一种专门研究 小样本情况下机器学习规律的理论。Vapnik,1J等人从六、七十年代开始致力于此方面研究, 到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法在理论上缺乏 实质性进展，统计学习理论开始受到越来越广泛的重视。统计学习理论是建立在一套较坚实 的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法 纳入其中，有望帮助解决许多原来难以解决的问题(比如神经网络结构选择问题、局部极小 点问题等)，同时，在这一理论基础上发展了一种新的通用学习方法一一支持向量机(Support Vector Machine, SVM)。一些学者认为，SLT和SVM正在成为继神经网络研究之后新的研 究热点，并将有力地推动机器学习理论和技术的发展。统计学习理论的一个核心概念就是 VC维，它是描述函数集或学习机器的复杂性或者说学习能力的一个重要指标，在此概念基 础上发展出了一系列关于统计学习的一致性、收敛速度、推广性能等的重要结论。在统计学 习理论基础之上发展起来的支持向量机是统计学习理论中最年轻的内容，它己表现出很多优 于己有方法的性能。 2支持向量机 2.1 S VM介绍及其特点 支持向量机的重要理论基础是统计学习理论的VC维理论和结构风险最小化原理。根据 统计学习理论，学习机器的实际风险由经验风险值和置信范围值两部分组成。传统的统计模 式识别方法在进行机器学习时，强调经验风险最小化。而基于经验风险最小化准则的学习方 法只强调了训练样本的经验风险最小误差，没有最小化置信范围值，会产生“过学习问题”, 其推广能力较差。SVM根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷 以期获得最好的推广能力，从而使其学习机获得了更好的推广性能，这恰恰是统计学习理论 最重要的目标之一。SVM nJ以自动寻找对分类有较好区分能力的支持向量，由此构成的分 类器可以最大化类与类之间的间隔。 支持向量机主要优点包括： 它是专门针对有限样本情况的其目标是得到现有信息下的最优解，而不仅仅是样 本数目趋于无穷大时的最优值。 算法最终转化为一个二次型寻优问题。从理论上说得到的将是全局最优点，解决 了在神经网络方法中无法避免的局部极值问题。 （3）算法将实际问题通过非线性变换到高维的特征空I可，在高维空I可中构造线性判别 函数以替换原空间中的非线性判別函数，这样能保证机器冇较好的推广能力同时它巧妙地解 决了维数问题，算法复杂度与样本维数无关。 SVM算法有很多成功的应用领域，如人脸识别、手写体识别、指纹识别等。SVM算法 在精度上已经超过传统的学习算法或与之不相上下，这些应用都说明了基于VC维理论和结 构风险最小化原理而发展起来的结构化学习方法的潜在优势。 2.2 S VM算法及其发展 221支持向量机算法 V.Vapnik等人首先提出來的是chunking算法：从训练样本中任 意选择一个小的子集，求此子集的最优解，保留此子集的支持向量，从剩余的样本屮启发式 地加入新的子集，再求解新子集的最优，反复迭代直至收敛，但chunking算法需求的内存 空问受所解决问题的支持向量数目的限制，当问题的支持向量数过大吋子问题的求解也很困 难。 2.2.2支持向量机的几个发展 为了进一步提高支持向量机算法的运行效率和收敛速度，研究人员对此做岀了巨大的努 力，提出了很多改进办法，不断推动支持向量机研究向前发展。 （1） 模糊支持向量机，引入样本对类别的隶