03第三章 非参数判别分类方法3.3-3.5专用课件.ppt

2. 样本的规范化 3. 解向量和解区 感知准则函数方法的思路 梯度下降算法 用梯度下降算法求感知准则函数极小值 小结 分段线性判别函数 *中国矿业大学 计算机科学与技术学院 第三章 非参数判别分类方法 3.3 感知准则函数 感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。 用感知准则函数设计线性分类器是一种十分重要的方法。 决策面方程： 令 结论：规范化后合适的a能使所有的Y满足aTY 0 。 3.3.1 几个基本概念 1. 线性可分性 如果对一个样本集N，总能找到一个增广权向量a，对该样本集所有样本实现正确分类，则这种情况称为具有线性可分性。 解向量：在线性可分的前提下，满足aTYn0，n=1,2,…,N 的权向量称为解向量。 解区：N个样本所对应的解向量a所在区域之交迭空间。在解区内的任一向量a能使所有样本得到正确划分。 随意找一个初始广义权向量 理论证明，只要训练样本集线性可分，无论a(0)的初值是什么，经过有限次叠代，都可使式aTY0得到满足。 当前的广义权向量a(k)，若出现Y’，使aTY0 ，则 其中pk0 3.3.2 感知准则函数及其梯度下降算法 定义一个准则函数J(a)，当a是解向量时，J(a)最小。 随机确定初始解向量a(1)，计算其对准则函数的梯度下降 ，下一个a(2)由自a(1)向下降最陡的方向移动一段距离而得到，即沿梯度的负方向移动。 其中， 是正的比例因子，即用于设定步长的学习率。 感知准则函数Jp(a) 其中，Yk是被权向量a错分类的样本集合。 感知准则函数Jp(a)对a求梯度： 可以证明，对于线性可分的样本集，经过有限次修正，一定可以找到一个解向量a，即算法能在有限步内收敛。其收敛速度的快慢取决于初始权向量a(1)和系数 。 例：三个样本的分类问题 解向量的修正过程 这种利用错误提供的信息，进行自修正的思想意义是十分深远的。这种只解决线性分类的感知器称为单层感知器，由它基础上发展起来的多层感知器在原理上能解决非线性分类、多类划分，以及非线性拟和非线性映射等多种功能，这些将在人工神经元网络这一章中进一步讨论。 3.4 多类问题 在两类别问题中使用的线性判别函数方法可以推广到多类别问题中。 （1）将C类别问题化为(C-1)个两类问题，即将第i类与所有非i类样本，按两类问题确定其判别函数与决策面方程。因此对于C类，则总共有(C-1)个两类别问题。 （2）将C类中的每两类别单独设计其线性判别函数，因此总共有C(C-1)/2个线性判别函数。 判别边界示意图 存在的问题： 出现一些不定区域 用线性判别函数对i类及所有非i类进行划分并不能保证获得性能良好的划分，硬性使用线性分类器可能会产生很不好的效果。 线性机器 将特征空间确实划分为C个决策域，共有C个判别函数。 每个决策域Ri按以下规则划分： 如果 则 线性机器中决策域的边界由相邻决策域的判别函数共同决定。 线性机器 多类线性机器 3.5 非线性判别函数 由于样本在特征空间分布的复杂性，许多情况下采用线性判别函数不能取得满意的分类效果。 传统的模式识别技术，则侧重于使用分段线性判别函数。 人工神经元网络如多层感知器等网络能够适用非常复杂的非线性分类，以及非线性函数拟和，非线性映射等，这将在人工神经元网络这一章讨论。 支持向量机则提出了一种基于特征映射的方法，也就是使用某种映射，使本来在原特征空间必须使用非线性分类技术才能解决的问题,映射到一个新的空间以后, 使线性分类技术能继续使用。 3.5.1 分段线性判别函数 线性判别函数 分段线性判别函数 二次判别函数 图5.1 分段线性判别函数示意图 分段线性判别函数设计中首先要解决的问题是分段线性判别函数的分段段数问题。 主要讨论在样本分布及子类划分大体已定的情况下，设计分段线性判别函数的问题，着重讨论几种典型的设计原理。 分段线性判别函数的一般形式可定义为： 其中 表示第i类第l段线性判别函数，li为i类所具有的判别函数个数，Wil与wi0l分别是第l段的权向量与阈值权。相应的判别规则是： 如果 其中 则决策 分类的决策面方程取决于相邻的决策域： 3.5.2 基于距离的分段线性判别函数 图5.2 最小距离分类器 图5.3 用多个最小距离分类器组成分段线性分类面 如果对于ωi有li个子类，则有li个代表点，或者说把属于ωi的决策域Ri分成li个子域，即Ri={Ri1,Ri2,…,Rili}对