支持向量机训练算法.pdfVIP

( ) ISSN 清华大学学报 自然科学版 2003 年 第 43 卷 第 1 期 3237 CN 112223N 　 ( ) , 2003, . 43, . 1 120124 J T singhu a U n iv Sci T ech V o l N o 　 支持向量机的训练算法 李建民, 　张　钹, 　林福宗 (清华大学 计算机科学与技术系, 智能技术与系统国家重点实验室, 北京 100084) 摘　要: 大量数据下支持向量机( SVM ) 的训练算法是 SVM 少, 便于使用, 已经成功地应用于许多分类和回归问 研究的一个重要方向和广大研究者关注的焦点。该文回顾了 题。 近几年来这一领域的研究情况。该文从分析 SVM 训练问题 SVM 的训练问题实质上是一个凸规划问题, 或 的实质和难点出发, 结合 目前一些主要的 SVM 训练方法及 者其对偶问题——一个二次规划( ) 问题。最优化 Q P 它们之间的联系, 重点阐述当前最有代表性的一种算法—— 理 论 中 的许 多 成 熟 算 法 需 要 利 用 整 个 赫 赛 序贯最小优化(SM O ) 算法及其改进算法。从中可以看到, 包 (H e ssian ) 矩阵, 所 以受普通计算机 内存容量的限 括 SM O 在内的分解算法通过求解一系列规模较小的子问 题逐步逼近最优解, 从而避免存储整个 H e ssian 矩阵, 是解 制, 只适用于样本较少的情况, 而根本无法处理大量 决大规模 SVM 训练问题的主要方法。而工作集的选择对于 数据的问题。因此设计适于大量样本的算法成为 分解算法的收敛与否和收敛速度至关重要。 SVM 研究中的重要内容。 目前, 在理论和实践上都 关键词: 支持向量机; 分解算法; 序贯最小优化 取得一定进展, 出现了一些比较有效的训练算法和 中图分类号: T P 18 文献标识码: A 实用软件。 文章编号: (2003) 0 10 12005 学习这些方法, 有助于设计更好的训练算法。本 文将对常见的 SVM 训练算法作一个较为详细的回