从感知机到支持向量机.pptxVIP

从感知机到支持向量机

刘淇

中国科学技术大学

qiliuql@

□感知机

□神经网络

□支持向量机

□线性可分支持向量机

□线性支持向量机

□非线性支持向量机

□支持向量机的扩展应用

内容提纲

□基本概念

□感知机(perceptron)1957年由Rosenblatt提出，是神经网络与支持向量机的基础

□感知机，是二类分类的线性分类模型，其输入为样本的特征向量，输出为样本的类别，取+1和-1二值，即通过某样本的特征，就可以准确判断该样本属于哪一类。感知机能够解决的问题首先要求特征空间是线性可分的，再者是二类分类，即将样本分为{+1,-1}两类。由输入空间到输出空间的符号函数：

f(x)=sign(wox+b)

□称为感知机，w和b为感知机参数，w为权值(weight),b为偏置(bias)。

学技

感知机(Perceptron)

3

□Sign函数

□在感知机的定义中，线性方程W·x+b=0对应于问题空间中的一个超平面(二维空间中为直线)S,位于这个超平面两侧的样本分别被归为两类，例如下图，红色作为一类(正类),蓝色作为另一类(负类),它们的特征很简单，就是它们的坐标

学技

感知机(Perceptron)

4

样本(x)

属性1

属性2

类别(y)

X₁

1

0

-1

X₂

0

0

-1

X₃

1

1

1

·

Xm

0

1

1

求得感知机模型，即求得模型参数w,b,这里x和y分别是特征向量和类别(也称为目标)。基于此，感知机模型可以对新的输入样本进行分类。

学技

1958

感知机(Perceptron)

5

作为有监督学习的一种方法，感知机学习由训练集

□感知机学习策略

□数据集线性可分性

□在二维平面中，可以用一条直线将+1类和-1类完美分开，那么这个样本空间就是线性可分的。下图中的样本就是线性不可分的，感知机就不能处理这种情况。因此，感知机都基于一个前提：问题空间线性可分

□定义损失函数，找到参数w和b,使得损失函数最小

学技

1958

感知机(Perceptron)

6

□损失函数的选取

□损失函数的一个自然选择就是误分类点的总数，但是这样的点不是参数w,b的连续可导函数，不易优化

□损失函数的另一个选择就是误分类点到划分超平面S(w.x+b=0)的总距离

假设数据集T={(x,y₁),(x₂,y₂)….(x,yn)}中所有的y;=+1

的实例i,有w·x+b0;对y;=-1的实例有Wox+b0

是W的l,范数。所以，对于误分类数据(x₁,y;) 因为对x;错分了，所以若y为-1,

-y;(wox;+b)0则计算的(w.x+b)0,反之若y;为+1, 则计算的(w.x:+b)0

成学

感知机(Perceptron)

这里先给出输入空间R”中任意一点X。到超平面S的距

这里有

离：

□点x₀到超平面S:w.x+b=0(注：X₀,W,x全为N维向量)距离d的计算过程为：

□设点x₀在平面S上的投影为x₁,则w.x₁+b=0

□由于向量x₀x₁与S平面的法向量w平行，所以

学技

1958

感知机(Perceptron)

8

X₁在平面S上，所以

因此误分类点(x;,y;)到超平面S的距离可以写作：

假设误分类点的集合为M,那么所有误分类点到超平面S的总距离为：

这里的Ilwll值是固定的，不必考虑，这样就得到了感知机学习的损失函数：在误分类时是参数w,b的线性函数。也就是说，为求得正确的参数w,b,我们的目标函

感知机(Perceptron)

而它是连续可导的，这就使得我们比较容易求得其最小值

数为

□感知机学习算法的原始形式inL(w,b)=-2xeMY₂(Wox₁+b)

□所谓原始形式，就是我们用梯度下降的方法，对参数w和b进行不断的迭代更新。先任意选取一个超平面S₀,对应的参数分别为wo和b₀,当然现在是可以任意赋值的，比如说选取w₀为全为0的向量，b₀的值为0。然后用梯度下降不断地极小化损失函数：每次随机