训练撑持向量分类机的算法研究.pdf

摘要 摘 要 支持向量机是基于统计学习理论的一种优秀的机器学习方法。它采用结构风险最 小化原则，通过核函数技术在一个高维特征空间中构造最优线性决策函数，避免了维 数灾难，并能获得全局最优解，具有良好的推广能力。由于其优良的性能，已经被广 泛地应用于模式分类、函数逼近和密度估计等问题，成为机器学习领域的热点课题。 用于解决分类问题的支持向量机称为支持向量分类机(svc)，以提高支持向量分 类机的训练速度和推广能力、降低其计算复杂度为目的。本文研究了几种训练支持向 量分类机的算法，主要内容如下： 1．首先给出了一个重要定理，然后结合序列最小优化(SMO)算法的优缺点，提出 一个改进的三变量SVC学习算法，即将标准的支持向量分类机问题分解为一系列含有 三个变量的二次规划(QP)子问题，并由提出的定理保证相应的松弛子问题都有解析 解，从而使得该方法能够更加精确和快速地逼近最优解。数值试验表明了新方法不仅 节省了计算代价，而且还提高了分类精度。 2．依据在每次迭代中选取多个变量同时优化可能会减少迭代次数和缩短训练时间 的这一想法，提出了一个训练支持向量分类机的四重序列解析优化方法。其优点是每 次迭代所求的子问题都有解析解，从而能够快速地逼近最优解。并给出算法的收敛性 分析。仿真结果表明改进算法不仅缩短了训练时间，而且计算复杂度较小。 3．从支持向量分类机原对偶问题的KKT条件出发，提出了基于约简的二 阶Mehrotra型预估校正算法训练支持向量分类机，该方法尽管在初始迭代时大部 分样本都参与计算，但是随着迭代的进行，使用约简技术它只保留较少的必要样本， 而丢掉越来越多不必要的样本，从而使很少的样本参与计算以达到节约计算代价的目 的。数值试验表明新方法是有效的。 4．首先针对求解支持向量分类机的原对偶问题，考虑到内点算法的不足，提出了 训练支持向量分类机的非精确不可行内点算法，并分析了该算法的全局收敛性；其次 还提出了改进的FR方法来计算方程组的不精确牛顿迭代方向，并在适当条件下证明了 的性能。 关键词：统计学习理论，支持向量分类机，核函数，二次规划，工作集，三变 量SVC算法，四重序列解析优化算法，内点算法，收敛性分析 Abstract Abstract vectormachineisallexcellentmachine methodbasedonstatistical Support learning onthe riskminimizationCallderivethe linear structural theory．Based rule，it learning optimal decisionfunctionin dimensionalfeature kerneltrick．Moreover．itavoidsthethe high spaceby and its CUl唱eof has has dimensionality900dgeneralizationability．Forgoodperformance，it been in and estimation， recognition，function density widelyappliedpattern approximation