支持向量机基本原理.pdfVIP

支持向量机基本原理 ◆张成学 (烟台南山学院工学院数学物理教学部 山东 龙口 265713) 【摘要 】支持向量机是应用在数据挖掘领域的一种新的方法，与传 对线性 司分 的I司题 ，不失一般性，司假定训练集中的向量满 统的机器学习理论相比具有更多的优点，本文分别介绍了线性支 足：y((∞·x)+b)≥1，i=1，…n。显然分类间隔等于可 可 ，最优 持 向量机和非线性支持 向量机。 … l1 【关键词】线性支持向量分类机 非线J}生支持向量分类机 分类超平面就是使得可 最大化的超平面。使可 _丌_最大化 就是使 最小，因此寻找最优超平面的问题就转化为求解 支持向量机 (SVM)是一种模式识别的新方法，是九十年代 由 Vapnik等人在统计学习理论基础上提出的，它是一种将统计学习 最优化 问题： 理论实现的有效学习方法，主要研究分类和回归预测两类问题。支 mjn 持向量机的理论最初是用来解决两类线性可分问题，之后才逐步 ． t． ((∞·)+6)≥l，f=l，2，-·-， 推广到非线性、多分类、回归预测等问题。由于支持向量机有效的 克服 了传统的“维数灾难”和 “过学习”等困难，并具备 良好的学习 利用Lagrange优化方法，其对偶 问题为： 能力，从而在许多领域得到越来越广泛的应用，并成为机器学习领 n Y,Yj(蕾’)q 一 ， 域的一个研究热点。 ， (4) 一 、 线眭·支持向量分类机 · t·∑Yq=。 支持向量机理论最初是在处理两类线性可分问题的基础上发 0，i=1，2，… ，， 展起来的，在 n维欧式空间上考虑二分类 问题，假设训练样本输入 利用Kuhn—Tucker条件解这个对偶 问题，得到 Q (a 一， 为 ∈X R 1，…，Z，对应的输出为y∈Y={+1，一1)，其中 +l代表正类的类别标记，一1代表负类的类别标记，记包含L个样 a)：，利用n计算最优分类超平面的法向量： =∑a*LYx， 本点的训练集为： T={(X，Y)，… (X．．，y。)}∈(X×Y) (1) 选取a的正分量a+，据此计算偏移量：b*=-y一∑aYXi~Y)， 问题转化为 ：对任意给定的测试样本 X，根据训练样本来推断 求得最优分类超平面 ( ·X)+b O，从而得到最优分类函数即决策 X对应的输出y是正类还是负类。下面用数学语言将上述问题描 述如下： 函数为：fx()=sgn(g(x))，其中：gx()=(+·x)+b=∑yQ+(x·x) 给定包含 L个样本点的训练集 为T={(X，Y)，… (X，yL))∈ (xXY)，其中一∈ R“是输入指标向量，y∈Y={+1，-1)是输 +b。 出指标，i=l，…L。我们的问题是，对任意给定的一个新的测试样本 以上是针对线性可分的情况。在线性不可分的情况下，某些训 X，根据训练样本，推断它所对应的输出y是正类还是负类。为此， 练样本不满足 y(((1)·X) )≥1，如图2所示。 我们需要找到