基于支持向量机的分类算法研究计算数学专业论文.docxVIP

山东科技大学硕士学位论文摘要 山东科技大学硕士学位论文 摘要 摘 要 支持向量机(Support Vector Machine，简称 SVM)是借助于最优化方法解决数据挖掘 中若干问题的有力工具，它不仅有着统计学习理论的坚实基础，而且具有直观的几何解 释和完美的数学形式，并在一定程度上克服了“维数灾难”和“过学习”等传统困难。 SVM 自 20 世纪 90 年代由 Vapnik 提出以来一直处于飞速发展的阶段，并在手写数字识 别、人脸识别、文本分类、生物信息、回归预测等诸多领域有了成功的应用。支持向量 机主要包括分类和回归两大内容。本文主要研究支持向量机的分类算法，主要工作如下： 第一章首先阐述了 SVM 的研究背景和理论学习基础，介绍了线性可分、近似线性 可分和非线性可分三种情况下的 SVM 两类分类模型，最后介绍了求解 SVM 模型的几 种主流算法，包括分解算法、增量学习算法、并行算法等等。 第二章前半部分介绍了 SVM 两类分类模型的几种变形，后半部分基于与支持向量 机最优化问题等价的互补模型，提出了一种新的 Lagrange 求解算法。该算法无需计算 对偶问题中 Hesse 矩阵的逆，且在适当条件下具有全局收敛性。最后，通过数值实验验 证了算法的有效性。 第三章先介绍了几种现有的基于 SVM 的多类分类模型及算法，然后在二叉树结构 SVM 多类分类算法的基础上，针对二叉树算法中的点和叶盲目划分的问题，提出了一 种新的算法——标识二叉树的 SVM 多分类算法。该算法通过标识划分的方法，一方面 解决了盲目划分的问题，另一方面大大减少了子分类器的数目，大幅度提高了算法的速 度。最后，又通过数值实验说明了该算法的有效性。 第四章，对论文的主要工作进行了总结，并对未来的研究工作提出了展望。 关键词：支持向量机，统计学习理论，两类分类，多类分类，算法，二叉树 ABSTRACT Support Vector Machine (SVM) is a effective tool, which has the aid of optimization methods to solve some problems in data mining，and it not only has a solid basis of statistical learning theory, but also has intuitive geometry interpretations and perfect mathematics forms. To a certain extent, it has overcome the difficulties of dimension disaster and over-learning. Since the 1990 s，SVM, which was proposed by Vapnik, has been developed rapidly and applied successfully in the handwritten numeral recognition, face recognition, text classification, biological information, regression forecast and so on. SVM mainly includes two contents — classification and regression. This paper mainly focuses on classification algorithms of SVM. The work is as follows. In the first chapter, it expounds the background and the foundation of the theory, and introduces two-class classification models of SVM in the cases of linear separable, approximate linear separable and non-linear separable, at last it introduces several mainstream algorithms to solve the SVM model, including the decomposition algorithm, the incremental learning algorithm, the parallel algorithm and so on. In the first half of the sec