基于支持向量机模型的优化算法研究-计算数学专业论文.docxVIP

摘 摘 要 I万方数据 I 万方数据 摘 要 支持向量机(Support Vector Machine，缩写为 SVM)是建立在统计学习理论基础之 上的一种新的通用机器学习方法.作为数据挖掘中的新方法，其在解决小样本、非线 性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合 等其他机器学习问题中，从而受到人们的普遍重视. 本文针对最小二乘支持向量机训练，提出一个新的共轭梯度法，以及对于的支持 向量机的一般对偶问题，运用原始-对偶路径跟踪法对其进行训练求解，具体内容如 下： 第一、针对最小二乘支持向量机，Suykens 等将其化成一个线性系统，提出用标 准的共轭梯度法来求解该线性系统，但是其算法需要两次求解一个具有相同系数矩阵 的 n阶线性等式.对此，Chu 等提出了一种单步的方法，其只需求解一个 n?1阶的线 性系统一次即可得到最小二乘支持向量机的解.本文，我们提出一个新的共轭梯度法， 并将其运用于最小二乘支持向量机的求解,在适当的条件下证明了其全局收敛性. 第二、对于支持向量机对偶问题的一般形式，其是一个带有线性等式约束和箱式 约束的二次规划问题.针对该问题，Michael 等利用一个内点算法对其进行训练.此前， Wang 等提出了一个原始-对偶路径跟踪法来求解一般的带有线性等式约束和箱式约 束的二次规划问题.本文利用该原始对偶路径跟踪算法来训练支持向量机，并且数值 实验结果表明了该算法用于支持向量机训练是有效可行的. 最后,对于上述支持向量机训练算法进行数值实验,实验结果表明了本文提出算 法的有效性. 关键词: SVM；分类问题；线性系统；共轭梯度法；原始-对偶路径跟踪算法 Ab Abstract II万方数据 II 万方数据 Abstract Support Vector Machine(SVM), based on the statistical learning theory, has become a new method for machine learning. As a new method of data mining, it shows many special advantages in solving small samples, nonlinear learning, high dimensional pattern recognition problems and can be applied to function fitting and other machine learning problems. So, SVM has been paid more and more attention. In this thesis, a new conjugate gradient method is presented for the least square support vector machine (SVM) training. And we use primal-dual path tracking method to solve the general dual problem of support vector machine (SVM). The main achievements of the thesis is as follows: Firstly, for the least square support vector machine, Suykens put it into a linear system. And they proposd a method which uses the standard conjugate gradient method to solve the linear system. But its algorithm needed to solve an n order linear equation which with the same coefficient matrix twice. And Chu proposed a kind of method of single step, it only needed to solve an n?1 order linear system to get the solution of the least square support vector machine. In this thesis, we propose a new conjugate gradient method, and use it in solving the least square su