SVM算法分析与研究.pdfVIP

维普资讯 2005年 9月 渝西学院学报 (自然科学版 ) ’ Sep．，2005 第 4卷 第 3期 JournalofWestern ChongqingUniversity (NatureSciencesEdition) Vo1．4 No 3 SVM算法分析与研究 王 晓云 (涪陵师范学院 计算机科学系 ，重庆 涪陵 408003) [摘 要]介绍了支持向量机 (SVM)中广泛采用的算法—— 分解算法，总结了其收敛性证明的 总体思路并对 目前最流行的SVM算法库 LIBSVM进行 了详细的分析与研 究 ． [关键词]支持 向量机 ；分解算法；LIBSVM [中图分类号]TP301．6 [文献标识码]A [文章编号]1671—7538(2005)03—0015—04 支持向量机 (SupportVectorMachine)是在统计学习理论基础之上发展起来的一种全新的机器学习 算法 ．SVM基于统计学习理论的结构风险最小化原则 ，它将最大化分类间隔的思想和基于核的方法结 合在一起 ，表现出很好的泛化能力 ．由于SVM方法有统计学习理论作 为其坚实的数学基础 ，并且 可 以 很好地克服 “维数灾难”和 “过拟合”等传统算法所不可规避的问题 ，所 以受到了越来越多的研究人 员 的关注 ．近年来 ，关于SVM方法的研究 ，包括算法本身的改进和算法的实际应用，都被陆续提 了出来 、 但是，支持向量机训练的复杂度高度依赖于训练数据的大小 ．不仅训练时间与数据的平方成正 比，而 且训练算法需要存储与训练集对应的核矩阵，当样本点数 Z成千计时，所需内存相当大 ． 上述事实迫使人们寻找提高算法运行速度及降低存储需求的新方法 ．目前最著名也最常被使用 的算法是分解算法 (decomposition)和序列最小最优化方法 (SMO)．这两种算法都利用 了支持向量机的 良好特性 ：解的稀疏性和最优化 问题的凸性 ． 1 分解算法简介 训练 SVM 的本质是解决一个二次规划 问题 ： min吉aQa—eT， 0≤ a ≤ C，i= 1，…Z． (1) Y a = 0． e是一个都为 1的向量，c为参数的上界，Q为正定或半正定矩阵 ．训练向量 通过 函数 映射 到高维空间，Q =)，yjK(。，，)，K(。， )= (。) ( )为核函数 ．矩阵 Q的大小是样本数量的平 方，处理 Q需要耗费大量的计算和存储资源 ．为了解决这个 问题 ，Qsuna、Joachims、Platt等提 出了分解 算法 ’，它的基本思想是 (算法 1)： (1)给定工作集中元素个数 IBI=q≤z(q为偶数)及精度要求 ￡，取初始点 a 1． (2)如果 a是问题的最优解 ，则停止 ．否则 ，重新寻找工作集 B[{1，…，z}，IBI=q，定义 Ⅳ= {1，…，z}／B，定义 a 、a 为向量 a 的子 向量，它们分别对应 B和 Ⅳ． (3)求解关于 a 的二次式 ： - [收稿 日期 ]2005—06—06 [作者简介]王 晓云 (1963一)，男 ，重庆涪 陵人 ，讲师 ，硕士研究生 15 维普资讯 min 1 aQ朋口 一(e 一Q )口， 0≤ (a) ≤ C，i： 1，…，q． (2) Q = (4)设 a “为 (2)式的最优解并 a ‘=a ，设 — +1并转过程 (2