支持向量机分析和总结.docx

支持向量机

引言

第8章的结果表明：对于已定和欠定的系统，内核岭回归量(KRR)提供了一个统一的处理。另外一种方式实现统一这些两种线性系统的方法是被Vapnik提出的通过支持向量机(SVM)学习模式。支持向量机学习的关键组成部分是确认一组具有代表性的被认为最有助于形成(线性或非线性)决策边界的训练向量。这些训练向量被称为“支持向量”，其余的训练向量被称为非支持向量。要注意的是只有支持向量才可以直接参与进支持向量机的决策边界特性化。

支持向量机已成功地应用于一个非常广泛的应用范围域，包括信号处理和分类，图像检索，多媒体，故障检测，通信，计算机视觉，安全/认证，时间序列预测，生物医学预测，生物信息学。

本章将讨论以下课题：

(一)1.2节推导线性支持向量机（SVM）的二元分类。主要目标是再次创建一个最大的极限来区分对立的两类——正如以前在欠定系统中使用的公式一样。支持向量机学习的关键组成部分是确认一组具有代表性的被认为最有助于形成(线性或非线性)决策边界的训练向量。这些训练向量被称为“支持向量”，并且，对于支持向量机来说，只有支持向量需要处于正确的边际超平面。

(二)

(三)

节将基本的支持向量机算法推广到模糊分离的数据集分类。

节将线性支持向量机推广到它的非线性变量。通过强加额外的约

束给拉格朗日乘子，被惩罚因子参数化，从相同的优化公式中得到稳健的非线性支持向量机。

(四)在1.5节中，给出了一些关于多类支持向量机的应用研究。对训练和预测精度进行了比较。此外，探究了预测精度和训练数据集的大小之间的关系。

(五)1.6节探讨通过削减支持向量来减少实验间隙维数的可能性。提议通过支持向量机削减算法的目的是最终只保留一小部分的训练向量，还产生高性能的决策规则。这可能进一步降低分类的复杂性。

线性支持向量机

给一个二元分类训练数据集T?[X,Y]?{[x,y

1 1

],[x,y

2 2

],...,[x ,y

N N

]}，一个基

本的SVM学习模式是找到两平行的边际超平面分离的正面和负面的训练矢量。理想的情况是，两平行超平面应区分两类，正向量落在第一平面的一侧，而负向量落在第二平面的另一边。在图1.1中，以两条虚线表示边际超平面，而实线用来强调线性分类器的决策边界，两个平面之间的地区则是安全带。由区域创建的安全边际可以被一个边际超平面（两条虚线中的一条）和决策边界（实线）之间的距离D测量出来。

可完美线性分离的支持向量机

回忆一下，前面介绍的线性学习模式的目的是找到一个决策向量W以产生一个没有误差的可以满足被公式（8.37）严格规定的等式的解决方案。在这方面，支持向量机公式有着不一样的目的：将严格的等式转化为不等式。

对于所有的积极训练向量：wTx

i

?b??1 （1.1）

图1.1 SVM中相应边际超平面的图解。虚线表示边际超平面，而实线用来表示决策超平面。

同时：

对于所有的积极训练向量：wTx

i

?b??1 （1.2）

这两个不等式可以通过一个简单的限制从而更简洁的表达：

y(wTx

i i

b?y

i

)?0??i?1,...,N

在松弛条件下，支持向量机提供了一个可以适用于已定（M≥N）和欠定（N

＞M）场景的统一的学习模式。

原始向量空间中的优化公式

就像在以前的学习模式中，误差项?

i

可对应一个训练向量，叫做x

i

，表示为：

? ?wTx

i i

?b?y.，

i

被公式（1.3）限制后，变为：

y? ?y

ii i

(wTx

i

b?y

i

)?0?i?1,...,N，

培训的目标是通过最小化w来最大限度地分离边缘约束下2/w。这将导致

以下优化公式：

min{1

w 2

w2}

受约束后： y??0

ii

?i?1,...,N （1.4）

由于SVM方法采用比LSE较少限制的约束，其解决方案熊w值低于规定的LSE学习模型实现参照公式（8.32）。注意,小w的值更广泛的分离的安全裕度。

经验空间中的沃尔夫对偶优化

等式（1.4）表示的式子是一个通过使用标准的凸优化方法可解的二次规划优化问题。更具体地说，可以从中推导出拉格朗日的相关结论。

L(w,b,?)?

w2??N?y?

（1.5）

12

1

i?1

iii

拉格朗日乘子?

必须是非负的，即：

i

? ?0 （1.6）

i

以确保y?

ii

?y(wTx

i i

?b)?1?0

通过聚焦的一阶梯度L(w,b,?)对w,我们可以建立太阳能发电:

w?