一种改进快速支持向量机算法.pdfVIP

第 10卷 第 l3期 2010年5月 科 学 技 术 与 ’工 程 Vo1．10 No．13 May2010 1671—1815(2010)13—3031—06 ScienceTechnologyandEngineering ⑥ 2010 Sci．Tech．Engng． 撰 勰 善 餮论 文毳 9 黼 ＆ 数 学 一 种改进的快速支持向量机算法 蔡珍凡 (华南理工大学理学院数学系，广州510640) 摘 要 为了快速的求解支持向量机问题，降低求解规模，根据支持向量机的几何原理以及数据样本的统计特性，提出了一 种改进的支持向量机快速算法。该算法通过迭代修正支持超平面的法向量，采用数值逼近而非解二次规划的方式来求解 问 题。算法具有速度快、增量学习、使用的支持 向量少等显著优点。 关键词 支持向量机 快速算法 增量学习 中图法分类号 0241．5； 文献标志码 A 支持 向量机(SupportVectorMachine，SVM)一 量机所体现的几何原理进行研究，提出了一些算 经提出，就得到国内外学者的高度关注。因为其具 法。如Keerrhi等所提出的最近点算法 (nearest 有强大的非线性处理能力和 良好 的泛化推广能力 ， pointalgorithm，NPA)及 Roobaert提出的DIRECTS． 使得它在机器学习领域获得 了高度的重视和广泛 VM算法 等，这些算法 比较直观，容易理解 ，把二 应用，并涌现出了大量理论研究成果 以及各种经典 次规划求得的支持 向量机解从几何角度描述 出来。 算法。这些算法大部分都要求解一个二次规划 问 有些研究者根据样本点违背KKT条件时在几何空 题，如Osun等提出的分解算法HJ，它主要利用解的 间上的分布，从理论上指出了支持向量机可以有增 稀疏性，以需要大量的存储空间以及进行大量的矩 量学习方式 J，但没有给出明确的算法表达式。本 阵运算的方式来加快求解二次规划速度 ；Platt提 出 文也是从几何角度分析SVM 的解结构，从而提出一 的序贯最小优化 (sequential minimaloptimization， 种新的支持向量机改进算法，该算法不仅可以进行 SMO)算法 ，也是针对求解二次规划 问题的计算 增量学习，而且可以在保证精度的前提下显著提高 量和计算复杂度的算法，它主要利用快速迭代的方 求解速度 ，从而可以运用在一些要求在线学习等实 式来加快求解速度。这些方法虽然确实提高了速 时性要求较高的问题中。 度，但还是需要解决二次规划 问题，所以无法从根 本上来降低求解的复杂度。 1 传统支持向量机算法 最近机器学习的研究者们另辟蹊径，从支持向 SVM方法是从线性可分情况下的最优分类线 2010年2月 1日收到 提出来的，考虑如图 1所示的二维两类线性可分的 作者简介：蔡珍凡(1984一)，男，广东省揭西人，硕士研究生。研究 情况，图1中实心点和空心点分别表示两类的训练 方向：计算智能与信息处理。 样本，H为把两类没有错误地分开的分类线， 、 3032 科 学 技 术 与 工 程 l0卷 分别为过各类样本中离分类线最近的点且平行 通过求偏导可以转化为一个简单的对偶问题： 于分类线的直线， 和 之间的距离叫做两类的