第二章感知机.pptxVIP

第二章 感知机 蔡天任 5/31 统计学习方法 李航 目录 2.1 感知机模型 2.2 感知机学习策略 2.2.1数据集的线性可分性 2.2.2感知机学习策略 2.3感知机学习方法 2.3.1感知机学习算法的原始形式 2.3.2算法的收敛些 2.3.3感知机学习算法的对偶形式 01 介绍 1957年Rosenblatt提出，是神经网络和支持向量机的基础。 02 定义 感知机是二分类的线性分类模型 2.1 感知机模型 感知机模型如下： f(x)= sign(w*x+b) 感知机的几何解释： 线性方程： 对应于特征空间 中的一个超平面S,其中w是超平面的法 向量，b是超平面的截距。 2.2 感知机学习策略 2.2.1 数据集的线性可分性 感知机原则上只能解决线性可分的分类问题。 数据集T T={(x1,y1)(x2,y2)……(xN,yN)} if exist S: w∙x+b=0 将数据集完全正确划分到超平面两侧， 则可称数据集T线性可分。 2.2 感知机学习策略 2.2.2 感知机学习策略 所有误分类点到超平面s的总距离： （其中M为误分类集合） 2.3 感知机学习算法 Hypothesis: h(x) = sign(w·x + b) Cost function: Goal: min L(w , b) 2.3 感知机学习算法 2.3.1 感知机学习算法的原始形式 Stochastic gradient descent 随机选取一个误分类点 update w, b: s.t. L 0 2.3 感知机学习算法 2.3.2 算法的收敛性 定理可以证明，误分类次数k是有上界的，经过有限次搜索可以找到将训练集完全正确分开的分离超平面。 感知机学习算法存在很多解，需要对分离超平面增加约束 条件。 2.3 感知机学习算法 2.3.3 感知机学习算法的对偶形式 不失一般性，假设w 和b 初始值均为0。 对误分类点 通过 if update n : 最后学习到的w，b可以表示为 2.3 感知机学习算法 感知机模型： Step1: 首先置 Step2: 在训练集中选取 Step3: 转向2直到没有误分类点。 THANKS！