SVM调研报告范文.docx

SVM调研报告范文 第 PAGE \* Arabic \* MERGEFORMAT 8 页 SVM调研报告范文 摘要：随着统计学习理论的出现，将经验风险最小和泛化性相结合的SVM（支持向量机）成为当今新的研究热点。在参考大量文献的基础上，本文对SVM的本质做了，同时给出了常用的SVM软件，SVMlight，LIBSVM，为了深入了解SVM软件实现机制，对相关的分解算法和优化算法SMO也做了详细的介绍。通过改进SVMlight和LIBSVM的瓶颈同时二者精华基础上，本文给出了高效的HeroSVM，并对其实现机制给出了详细的介绍。最后本文对SVMlight和LIBSVM在相同数据集上做了对比，并给出了性能分析。 第一章引言 1.1理论背景 基于数据的机器学习是现代智能技术中的重要方面,从观测数据(样本)出发寻找规律,利用这些规律对未来数据或无法观测的数据进行预测。传统的经典的（参数）统计估计方法，要求已知参数的相关形式，利用训练样本用来估计参数的值，包括模式识别、神经网络等在内，但是这种方法有很大的局限性，因为需要已知样本分布形式，而这需要花费很大代价，还有，隐含的思想是样本数目趋于无穷大时的渐近理论，但在实际问题中，样本数往往是有限的，因此这些理论上很优秀的学习方法实际中表现却可能不尽人意。还有就是经验非线性方法，如人工神经网络（ANN），这种方法利用已知样本建立非线性模型，克服了传统参数估计方法的困难，但是缺乏一种统一的数学理论，在这种基础上现代的统计学习理论就诞生了。 统计学习理论[1](StatisticalLearningTheory或SLT)是一种专门研究小样本情况下机器学习规律的理论.统计学习理论的一个核心概念就是VC维(VCDimension)概念，它是描述函数集或学习机器的复杂性或者说是学习能力(Capacityofthemachine)的一个重要指标，在此概念基础上发展出了一系列关于统计学习的一致性(Consistency)、收敛速度、推广性能(GeneralizationPerformance)等的重要结论。统计学习理论是建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题（比如神经网络结构选择问题、局部极小点问题等。 1.2SVM介绍 V.Vapnik提出的支持向量机理论[2]是建立在统计学习理论的VC维理论和结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度，Accuracy)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折衷，以期获得最好的推广能力(GeneralizatinAbility)。支持向量机方法的几个主要优点有： 1.它是专门针对有限样本情况的，其目标是得到现有信息下的最优解而不仅仅是样本数趋于无穷大时的最优值； 2.算法最终将转化成为一个二次型寻优问题，从理论上说，得到的将是全局最优点，解决了在神经网络方法中无法避免的局部极值问题； 3.算法将实际问题通过非线性变换转换到高维的特征空间(FeatureSpace)，在高维空间中构造线性判别函数来实现原空间中的非线性判别函数，特殊性质能保证机器有较好的推广能力，同时它巧妙地解决了维数问题，其算法复杂度与样本维数无关；已经有许多事实证明，作为支持向量机最基本思想之一的结构化风险最小化原则[2]（StructuralRiskMinimization,SRM）要优于传统的经验风险最小化原则（EmpiricalRiskMinimization,ERM）。不同于ERM试图最小化训练集上的误差的做法，SRM试图最小化VC维的上界，从而使其学习机获得了更好的推广性能，这恰恰是统计学习理论最重要的目标之一。支持向量机的主要应用领域有模式识别、函数逼近和概率密度估计等等。 *****因为涉及到太多的图表和公式无法显示，省略一部分。******** 1.2SVM算法研究现状 由于SVM方法较好的理论基础和它在一些领域的应用中表现出来的优秀的推广性能，近年来，许多关于SVM方法的研究，包括算法本身的改进和算法的实际应用，都陆续被研究出来,比较出名的有SVMlight[4]，SMO[5]，LIBSVM[8],HeroSVM[11]等。 尽管SVM算法的性能在许多实际问题的应用中得到了验证，但是该算法在计算上存在着一些问题，包括训练算法速度慢、算法复杂而难以实现以及检测阶段运算量大等等。传统的利用标准二次型优化技术解决对偶问题的方法可能是训练算法慢的主要原因：首先，SVM方法需要计算和存储核函数矩阵，当样本点数目较大时，需要很大的内存，例如，当样本点数目超过4000时，存储核函数矩阵需要多达128兆内存；其次，SVM在二次型优化过