支持向量机算法原理相关文献..docVIP

支持向量机算法理论与算法研究 摘要　支持向量机是建立在统计学习理论VC维理论和结构风险最小化原理基础上的机器学习方法。它在解决小样本、非线性和高维模式识别问题中表现出许多特有的优势，并在很大程度上克服了“维数灾难”和“过学习”等问题。此外，它具有坚实的理论基础，简单明了的数学模型，因此，在模式识别、回归分析、函数估计、时间序列预测等领域都得到了长足的发展，并被广泛应用于文本识别、手写字体识别、人脸图像识别、基因分类及时间序列预测等。 标准的支持向量机学习算法问题可以归结为求解一个受约束的二次型规划问题。对于小规模的二次优化问题，利用牛顿法、内点法等成熟的经典最优化算法便能够很好的求解。但是当训练集规模很大时，就会出现训练速度慢、算法复杂、效率低下等问题。目前一些主流的训练算法都是将原有大规模的QP问题分解成一系列小的QP问题，按照某种迭代策略，反复求解小的QP问题，构造出原有大规模的QP问题的近似解，并使该近似解逐渐收敛到最优解。但是如何对大规模的QP问题进行分解以及如何选择合适的工作集是当前训练算法所面临的主要问题，并且也是各个算法优劣的表现所在。另外，现有的大规模问题训练算法并不能彻底解决所面临的问题，因此，在原有算法上进行合理的改进或研究新的训练算法势在必行。本文首先对支持向量机的理论进行系统的介绍，进而对当今SVM训练算法进行综述，并对未来的研究方向进行展望。 关键词　模式识别；支持向量机；支持向量分类；支持向量回归 统计学习理论（SLT）简介[13] 1.1 背景 现实世界中存在大量我们尚无法准确认识但却可以进行观测的事物，如何从一些观测数据（样本）出发得出目前尚不能通过原理分析得到的规律，进而利用这些规律预测未来的数据，这是统计模式识别（基于数据的机器学习的特例）需要解决的问题。统计是我们面对数据而又缺乏理论模型时最基本的（也是唯一的）分析手段。Vapnik 等人早在20世纪60年代就开始研究有限样本情况下的机器学习问题，但这些研究长期没有得到充分的重视。近十年来，有限样本情况下的机器学习理论逐渐成熟起来，形成了一个较完善的SLT体系。而同时，神经网络等较新兴的机器学习方法的研究则遇到一些重要的困难，比如如何确定网络结构的问题、过拟合与欠拟合问题、局部极小点问题等。在这种情况下，试图从更本质上研究机器学习的SLT体系逐步得到重视。1992－1995年，Vapnik 等在SLT的基础上发展了SVM算法，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其它机器学习问题。很多学者认为，它们正在成为继模式识别和神经网络研究之后机器学习领域中新的研究热点，并将推动机器学习理论和技术有重大的发展。神经网络研究容易出现过拟合问题，是由于学习样本不充分和学习机器设计不合理的原因造成的，由于此矛盾的存在，所以造成在有限样本情况下：1)经验风险最小不一定意味着期望风险最小；2)学习机器的复杂性不但与所研究的系统有关，而且要和有限的学习样本相适应。SLT体系及其SVM算法在解决“小样本难题”过程中所取得的核函数应用等方面的突出进展令人鼓舞，已被认为是目前针对小样本统计估计和预测学习的最佳理论。 1.2 原理 Vapnik的SLT的核心内容包括下列四个方面：1) 经验风险最小化原则下统计学习一致性的条件；2) 在这些条件下关于统计学习方法推广性的界的结论；3) 在这些界的基础上建立的小样本归纳推理原则；4) 实现这些新的原则的实际方法（算法）。 设训练样本集为，其拟合（建模）的数学实质是从函数集中选出合适的函数 f(x)，使风险函数： (1) 为最小。但因其中的几率分布函数为未知，上式无法计算，更无法求其极小。传统的统计数学遂假定上述风险函数可用经验风险函数代替： (2) 根据大数定律，式(2)只有当样本数n趋于无穷大且函数集足够小时才成立。这实际上是假定最小二乘意义的拟合误差最小作为建模的最佳判据，结果导致拟合能力过强的算法的预报能力反而降低。为此，SLT用结构风险函数 代替，并证明了可用下列函数求极小而得： 　　　 (3) 此处n为训练样本数目，Sh为VC维空间结构，h为VC 维数，即对函数集复杂性或者学习能力的度量。1-?为表征计算的可靠程度的参数。　　　　 SLT要求在控制以VC维为标志的拟合能力上界（以限制过拟合）的前提下追求拟合精度。控制VC维的方法有三大类：1〕拉大两类样本点集在特征空间中的间隔；2〕缩小两类样本点各自在特征空间中的分布范围；3〕降低特征空间维数。一般认为特征空间维数是控制过拟合的唯一手段，