支持向量机-数学前沿..doc

基于支持向量机的进展研究介绍 摘要：支持向量机作为一种新型的短期预测的算法，越来越受到人们的重视。本文对其研究的历史进程给予了说明，并介绍了一些目前的热门研究算法以及其研究的思想。重点介绍了支持向量机的回归算法，此种算法对于少数据的短期预测具有较好的预测效果。最后本文对其应用前景及发展方向予以了介绍。 关键词：支持向量机；回归算法；短期预测 0 引言 支持向量机（Support Vector Machine，简称SVM）是由CortesVapnik1995年首先提出来的，是近年来机器学习研究的一项重大成果。它在解决小样本、非线性及高模式识别中表现出许多特有的优势，并能够推广应用到函拟合等其他机器学习问题中。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力 。Tikhonov Regularization）方法的一个特例[3]。这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区。因此支持向量机也被称为最大边缘区分类器。根据统计学习理论，如果数据服从某个（固定但未知）分布，要使机器的实际输出与理想输出之间的误差尽可能小，则机器应当遵循结构风险最小化原理，而不是经验风险最小化原理，通俗的说就是应当使错误概率的上界最小化[4]。支持向量机正是这一理论的具体实现。与传统的人工神经网络相比，支持向量机不仅结构简单，而且各种技术性能尤其泛化能力明显提高，这已经被大量实验证实[5]。目前，国内对支持向量机的研究还刚刚起步，本文介绍支持向量机的一些新进展，希望引起大家的重视。 1 支持向量机 1.1 什么是支持向量机 所谓支持向量是指那些在间隔区边缘的训练样本点。 这里的“机（machine,机器）”实际上是一个算法。在机器学习领域，常把一些算法看是一个机器。 支持向量机(Support vector machines，SVM)类似，都是学习型的机制，但与神经网络不同的是SVM使用的是数学方法和优化技术。Anthonyetal(1999)等人给出了关于硬领域支持向量机学习误差的严格理论界限，Shawe-Taylor(2000)和Cristianini（2000）也给出了类似的关于软领域支持向量机和回归情况下的误差界限；Westonetal(1998)和Vapnik(1998)等研究了支持向量机的泛化性能及其在多值分类和回归问题的扩展问题；Smola（1998）和Schoelkopf（1999）提出了支持向量机一般意义下的损失函数数学描述；脊回归是由Tikhonov（1963）提出的一种具有特殊形式的正则化网络，Poggio et al。（1990），Poggio（1975）等将其应用到正则化网络的学习中。Smola et al。（1999）研究了状态空间中脊回归的应用，Poggio et al，（1990）Smola（1998）,Schoelkopf（1999）等讨论了正则化网络和支持向量机的关系。 随着支持向量机理论上的深入研究，出现了许多变种支持向量机，如Smola（1999）提出的用于分类和回归的支持向量机。另外，一些学者还扩展了支持向量机概念，如Mangasarian（1999）等人通用支持向量机。 2 算法简介 2.1支持向量机的训练算法 支持向量机的最终求解问题归结为一个有约束的二次型规划问题。可以利用标准二次型优化技术来求解这个优化问题，如牛顿法、共扼梯度法、内点法等。但是，这些方法只适合小样本情况，当样本数目较大时，算法复杂度会急剧增加，而且占用极大的系统内存。为降低计算资源、提高算法效率，很多研究者已经提出了许多针对大规模样本集的训练算法： 2.1.1 块算法 1995年，cortes和vapnik提出了块算法，其出发点是删除矩阵中对应于Lagrange乘子为零的行和列不会对最终的结果产生影响。算法的每一步中都加入固定数量的样本，同时保留上一步中剩下的具有非零Lagrange乘子的样本，以及M(事先确定的)个不满足KKT条件的最差的样本：如果不满足KKT条件的样本数不足M个，则将不满足条件的样本全部加入。每个子问题都采用上一个子问题的结果作为初始值。最后所有非零Lagrange乘子都被找到，从而解决了原来的二次规划问题。当支持向量数远远小于样本数时，算法效率较高。然而，当样本集中的支持向量数目很大时，其算法复杂度仍然很大。 2.1.2 分解算法 1997年，Osuna提出了分解算法(Decomposition Algorithm)，并将其应用于人脸检测中。其主要思想是将训练样本集分为工作集B和非工作集N，集合B中包含样本个数至少和支持