支持向量机算法原_相关文献.docVIP

支持向量机算法理论与算法研究 摘要　支持向量机是建立在统计学习理论VC维理论和结构风险最小化原理基础上的机器学习方法。它在解决小样本、非线性和高维模式识别问题中表现出许多特有的优势，并在很大程度上克服了“维数灾难”和“过学习”等问题。此外，它具有坚实的理论基础，简单明了的数学模型，因此，在模式识别、回归分析、函数估计、时间序列预测等领域都得到了长足的发展，并被广泛应用于文本识别、手写字体识别、人脸图像识别、基因分类及时间序列预测等。 标准的支持向量机学习算法问题可以归结为求解一个受约束的二次型规划问题。对于小规模的二次优化问题，利用牛顿法、内点法等成熟的经典最优化算法便能够很好的求解。但是当训练集规模很大时，就会出现训练速度慢、算法复杂、效率低下等问题。目前一些主流的训练算法都是将原有大规模的QP问题分解成一系列小的QP问题，按照某种迭代策略，反复求解小的QP问题，构造出原有大规模的QP问题的近似解，并使该近似解逐渐收敛到最优解。但是如何对大规模的QP问题进行分解以及如何选择合适的工作集是当前训练算法所面临的主要问题，并且也是各个算法优劣的表现所在。另外，现有的大规模问题训练算法并不能彻底解决所面临的问题，因此，在原有算法上进行合理的改进或研究新的训练算法势在必行。本文首先对支持向量机的理论进行系统的介绍，进而对当今SVM训练算法进行综述，并对未来的研究方向进行展望