统计学习方法_感知机.ppt.pdfVIP

统计学习方法—感知机 Introduction • 1957年Rosenblatt提出，是神经网络和支持向量机 的基础 • 感知机是二分类的线性分类模型 +1 X 感知机 -1 寻找超平面 • 引入基于误分类的损失函数 • 感知器的学习算法 – 原始形式 – 对偶形式 OutLine • 统计学习三要素 – 感知机模型 – 感知器学习策略 – 感知器学习算法 感知机模型 n • 输入空间：X 取值于n维欧式空间R , X中的 x 输入实例 表示实例的特征向量 • 输出空间：Y = {+1，-1}，表示实例的类别 f (x ) sign (w x b ) 其中，w 和b 为感知机模型参数，w 为权值向量，b 叫做偏置,表示 内积，sign是符号函数 • 感知机是一种线性分类模型，属于判别模型 （由数据直接学习判别函数,对性的输入数据 给出对应的输出类别 ） • 假设空间是定义在特征空间中的所有线性分类模型或线性 分类器，即函数集合 {f |f (x ) w x b } • 感知机几何解释，线性方程 wx  b 0 n • 对应于特征空间R 中的一个超平面S ， 其中w是超平面的法向量， b是超平面的截距 • 为求得分离超平面，即感知机模型， 需要计算出最优的模型参数w 和b 感知器学习策略 • 感知机的判别函数是一个超平面，所以原则上只 能解决线性可分的分类问题 给定一个数据集 T {(x ,y ),(x ,y ),...,(x ,y )} 1 1 2 2 N N 如果存在某个超平面S w x  b 0 能够将数据集的正实例点和负实例点完全正确地划分到超 平面两侧，即对所有的y =+1的实例x ，有 wx  b  0 ，对所 i i 有y -1的实例x ，有 wx  b  0 ，则成为数据集T为线性可 i i 分数据集。 • 损失函数一个自然的选择是误分类点的总数 （不是w，b连 续可导函数，不易优化 ） • 采用误分类点到超平面S的总距离 输入空间中任一点x 到 0 1 超平面距离 | w x  b | 0 || w ||  y (w x  b )  0 x 误分类点