基于SVM解决QP问题的分解算法的研究现状及展望报告.docx

基于SVM解决QP问题的分解算法的研究报告**（**大学**学院，学号：*******）摘要：支持向量机（Support Vector Machine, SVM）是一种基于统计学习理论（Statistical Learning Theory, SLT）发展而来的机器学习方法。SVM以其出色的学习性能，已经成为目前机器学习研究领域的热点。本文首先介绍了QP问题和支持向量机的理论基础，并综述了利用分解算法来解决QP问题的现状，最后就分解算法进行总结和展望。关键字：SVM； QP问题；SLT； 分解算法； 机器学习Abstract: Support Vector Machine (SVM) is one of machine learning approaches developed from Statistical Learning Theory. Because of its outstanding performance of learning, Support Vector Machine is becoming more and more popular in the field of machine learning. In this paper, we first describe the theoretical basis of Support Vector Machine and QP problem. Then, we summarize the status of the use of decomposition algorithms to solve QP problem. Finally, we give a summary and a outlook about decomposition algorithms.Keyword: SVM; QP problem; SLT; decomposition algorithm; machine learning1 引言统计学习理论（SLT）是一种小样本统计理论，主要用来研究在样本较小的情况下的统计规律和学习方法。因为SLT要求样本的数量必须是有限的，于是在统计学习理论的基础上发展起来了支持向量机学习方法。虽然QP问题（Quadratic Programming Problem）在数学上早已经被解决，但是当训练集规模很大时，就会出现训练速度慢、算法复杂、效率低下等问题。标准的支持向量机学习算法问题可以归结为求解一个受约束的QP问题，因此，研究QP问题的高效算法成为SVM应用领域的热门课题。2 支持向量机的理论基础及QP问题[1]在解决模式识别问题的过程中, 由于实现由贝叶斯决策理论导出的期望风险最小化原则必须依赖类先验概率和类条件概率密度, 所以，期望风险无法直接计算并最小化。在实际应用中, 我们只能用经验风险逼近期望风险, 并希望通过最小化经验风险来实现期望风险最小。经验风险最小化（ERM）原则一直是解决统计模式识别等统计机器学习问题的基本思想。在此思想的指导下, 人们主要解决如何更好地求取最小经验风险。然而，实践证明, 一味追求训练误差最小（对应经验风险最小）并不能得到最好泛化能力，有些情况下, 训练误差太小反而会导致泛化能力下降, 这在神经网络中表现得尤为突出（即过学习问题）。导致出现该问题的一个根本原因就是传统统计学是一种渐进理论, 它的许多结论都是在样本数目趋向于无穷大的条件下得出的, 而在小样本条件下,以传统渐进统计学为理论基础的经验风险最小化原则并不能很好地实现由贝叶斯决策理论导出的期望风险最小化原则。为了解决传统渐进统计学应用在小样本统计学习中的不足，Vladimir N. Vapnik等人建立了统计学习理论。统计学习理论指出, 在小样本条件下, 只有同时控制经验风险和学习机的容量（用VC维衡量）, 才能获得具有良好泛化能力的学习机（此处的学习机, 在模式识别问题中即为分类器）。思想在数学上可由式2-1表示的分类器推广能力的界来表达： 式2-1其中代表VC信任，为实际风险，为经验风险，为VC维，为训练集样本数，为置信度，由该理论导出的结构风险最小化（Structural Risk Minimization,简称SRM）原则很好地实现了同时控制经验风险和学习机容量的思想, 它将分类器构成的函数集合划分成若干按VC信任（也即按VC维）升序排列的子集, 然后在每一个子集中寻找最小经验风险这样, 下一步要解决的问题便是构造分类器实现SRM原则，于是人们发展出SVM来解决这一问题。我们注意到, 在众多分类器当中, 线性分类器具有最简单的结构, 人们便考虑用类似线性判别函数的方法来实现SRM原则，SVM便是从模式类线性可分情况下的最优分类面（Optimal H