统计学习理论与支持向量机方法.pdfVIP

2009年 2月 湖北第二师范学院学报 Feb。20o9 第26卷第2期 JournalofHubeiUniversityofEducation Vo1．26 No．2 统计学习理论与支持向量机方法 余 慧 (湖北第二师范学院计算机科学与工程系，武汉430205) 摘 要：本文从统计学习理论(SLT)入手，在讲述SVM基本原理的基础上，介绍了学习算法、简化和多分类 等关于支持向量机(SVM)的主要研究课题。最后，讨论并用实验验证了影响SVM的常见因素。 关键词：支持向量机；统计学习理论；机器学习 中图分类号：0657．3 文献标识码：A 文章编号：1674—344X(2009)02-0014-05 作者简介：余慧(1976一)，女，湖北武汉人，助教，硕士，研究方向为计算机应用。 SLT源于 1963年Vapnik提出的用于解决模式识别 错误分开，并且距超平面最近的样本数据与超平面之间 问题的支持向量方法。1995年Vapnik等人提出完整的 的距离最大，则该超平面为最优超平面，如图1所示，由 统计学习理论，主要包括 VC维、经验风险最小化理论、 此得到的判别函数，其泛化能力最优，其中sign(·)为符 结构风险最小化理论等，并在此基础上发展了一种新的 合函数。 通用学习方法支持向量机。该方法已成功地应用于函数 模拟、模式识别和数据分类等领域，是当前国际国内的一 个研究热点。本文从 SLT的核心内容和SVM的基本原 理人手，讨论了SVM的主要研究问题和相关实验结果。 1 支持向量机基本原理 支持向量机简称SVM，基本思想是在样本空间或特 征空间，构造出最优超平面，使得超平面与不同类样本集 之间的距离最大，从而达到最大泛化能力。 最优超平面 假定大小为 l的训练样本集 {(，Y)，=l，2，…， Z}，由二类别组成。 ∈R 如果属于第 1类，则标记为正 y(x)=sign( - +6) (4) (Yi=1)；如果属于第2类，则标记为负(Y；=一1)。学习 最优超平面的求解需要最大化2／IIII，即最小化 的目标是构造一判别函数，将测试数据尽可能正确地分 类，本文仅针对训练样本集为线性的情况进行讨论。 ÷lIWll，这样可转换成如下的二次规划问题 如果存在分类超平面 · +b=0 (1) 1IIWll l (5) ， 使得 s．￡． Y( · 十6) 1，i=1，2，…，2J ‘ i+6之 ，)，=l (2) 训练样本集为线性不可分时，需引入非负松弛变量 · i+b l，Y = 1J ， i=1，2，…，Z，分类超平面的最优化问题为 则称训练集是线性可分的，其 11)·中表示向量W∈ 1 尺与 ∈R“的内积。式 (1)和(2)中的1￡，∈R，b∈R都 进行了规范化，使每类样本集中与分类超平面距离最近 Y W 的数据点满足式(2)的等式要求。对