一种新型的增式SVM训练算法.pdfVIP

维普资讯 第22卷 第 3期 青 岛大学 学报 (工 程技术版 ) Vo1．22No．3 2007年 9月 JOURNALOFQINGDAOUNIVERSITY (ET) Sep．2007 文章编号 ：1oo6—9798(2007)03—0082一O4 一 种新型的增式SVM训练算法 李玉景，赵志刚，郭振波 (青岛大学信息工程学院，山东青岛266071) 摘要：针对传统的增式支持向量机算法在计算时间和分类效率上的不足，提出了一种新 型的增式 SVM训练算法 。该算法不是简单地保 留上一步训练的支持 向量 ，而是通过增 加 KKT (Karush—Kuhn—Tucke)限制条件并对决策函数的输出设定一个 阚值，使得保留 下来 的样本都是最有效 的样本 ，从而可减少训练样本 的数 目。在仿真实验 中，选择了一组 UCI数据 ，并选用 RBF核函数作为核函数 。实验结果表明：与传统增式算法相 比，新算法 在保证传统 SVM性能的同时，在迭代速度和分类放率上分别提高了 14 和 4．39 。 关键宇：支持 向量机；增式训练算法 ；KKT条件 中图分类号：TP183 文献标识码：A 支持向量机 (supportvectormachine，SVM)方法是 Vapnik等人根据统计学习理论提出的一种新 的机 器学习方法 ，它以统计学习理论的VC维 (VCdimension)理论和结构风险最小化原理为理论基础 ，通过适当 地选择函数子集及其子集中的判别函数 ，使学习机器的实际风险达到最小 ，保证 了通过有 限训练样本得到的 小误差分类器对独立测试集的测试误差仍然较小。可以说 ，SVM是一个具有最优分类能力和推广能力的学 习机器 ¨。 求解一个 SVM 问题最终都转化为解一个二次规划 问题 (quadraticprogramming，QP)，由于训练和测 试的样本规模较大，这就使得计算时间和存储空间成为解二次规划问题的瓶颈 。常用的解决方法是将一个 大的二次规划问题转化为若干个小的二次规划问题以提高分类效率，如块算法、分解算法、SMO算法、增式 算法等等[2]。分块算法不适合支持向量较多的情况；分解算法将样本集分解成工作集和非工作集，其中工作 的选择以及算法的收敛性很难把握 ；SMO算法是对分解算法 的一个改进 ，将工作集 的样本数 目固定为 2；传 统的增式算法只是简单 的保 留每次迭代的支持向量 ，并与所有的新增样本一同作为下次迭代 的训练集 ，这就 使得一部分有可能在下次迭代中变成支持 向量的样本被舍弃 ，同时，部分新增样本中对下次迭代没有意义的 样本也被保留下来 了，在时间复杂度和空间复杂度上有待改进 。考虑到本次迭代中的一些非支持向量很有 可能在下次迭代中变成支持向量，有专家提出给每个样本赋一个权值，每次根据权值 以及其他约束条件来确 定应该保留哪些样本[3]，但这种方法中样本权值的计算 比较复杂。本文针对传统的增式算法所存在的问 题做 了改进，增加 了KKT(Karush—Kuhn-Tucke)限制条件 ，并将决策函数的输出阚值化 ，在保证 SVM 分类 效率的同时，降低了时间复杂度和空间复杂度。通过一组UCI数据进行实验 ，验证 了改进算法的有效性和 可行性 。 1 改进的增式SVM训练算法 1．1 KKT条件及作用 求解一个 SVM 问题，是通过引入相应的拉格朗 日函数并将其转化为对偶问题来解决所转化的QP问 题 。求解大的QP问题，由于在计算时间和存储空间上存在瓶颈，常把问题分解为若干个小的QP问题 ；同 收稿 日期 ：2007—06—13 作者简介 ：李玉景 (1982一)，山东青岛人 ，硕士研究生，主要研究方 向为支持 向量机在模式识别中的应用 。 维普资讯 第 3期 李玉景 ，等