模式识别第4讲.ppt

线性判别函数 线性判别函数是决策论模式识别方法中的一种重要的基本方法，是形式最简单的判别函数，由于它具有计算简单，在一定条件下能够实现最优分类的性质，因此在实际中得到了广泛的应用。此外，许多其它决策论识别方法也可用判别函数来研究（非线性判别函数），它也是研究神经网络的基础。 在统计模式识别方法中，首先应把能代表模式的那些特征抽取出来，构成一个代表这个模式的特征向量，表示为 当我们观察待分类模式时，每次观察到的样本都是不同的，它们可以看成是随机产生的。所以每次抽取到的模式特征都应看成是随机变量，从而代表这些模式的 n 维向量也应是随机向量。下面看一个三类模式例子，如图所示。三类模式可用边界线AD、BD和CD分开。 所以，如果根据以往大量的观察，知道模式类别的分布，从而能找出n 维空间中模式类之间的分界，就能解决模式的分类问题。这在实际上是一个通过给定样本的学习过程。 为找出这些模式之间的分界面，可以利用判别函数来进行。对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函数，记为 判别函数的性质 假如一个模式 X 属于第 i 类，则有 而如果这个模式在第 i 类和第 j 类的分界面上，则有 事实上，这是由 n 维模式降为1维或1个数的一种变换。 线性判别函数是所有模式特征的线性组合，表示为 推导：二类情况下，决策面与模式向量的几何关系 是决策面方程，它是两类模式的分界，对于二维空间的情况，它是一条直线。 我们现在对两类问题进行讨论。 两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数: 2. n维情况 现抽取n个特征为： 判别函数： 另外一种表示方法： (二) 多类问题 例：已知三类ω1,ω2,ω3的判别函数分别为： 因此三个判别边界为： 问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2类 在统计模式识别方法中，维数或特征数是一个很大的问题，因此，降低维数有时就成为处理实际问题的关键。Fisher线性判别函数法就是其中一种，是R.A. Fisher（1936）在他的一篇论文中提出来的，其基本思想是把 d 维模式投影到一条通过原点的直线上，把维数压缩到1。 则： 叫做规范化增广样本向量，为方便起见仍用 表示 解向量：线性可分条件下，满足 的权向量 解区：由无穷多个解向量组成的区域 出发点 一旦判别函数的形式确定下来，不管它是线性的还是非线性的，剩下的问题就是如何确定它的系数。 在模式识别中，系数确定的一个主要方法就是通过对已知样本的训练和学习来得到。 感知器算法就是通过训练样本模式的迭代和学习，产生线性（或广义线性）可分的模式判别函数。 基本思想 采用感知器算法(Perception Approach)能通过对训练模式样本集的“学习”得到判别函数的系数。 说明 这里采用的算法不需要对各类别中模式的统计性质做任何假设，因此称为确定性的方法。 背景 “感知器”一词出自于20世纪50年代中期到60年代中期人们对一种分类学习机模型的称呼，它是属于有关动物和机器学习的仿生学领域中的问题。 当时的一些研究者认为感知器是一种学习机的强有力模型，后来发现估计过高了，但发展感知器的一些相关概念仍然沿用下来。 * Bian ZhaoQi * Bian ZhaoQi * Bian ZhaoQi 这是一个动画幻灯片，连续敲打空格键使动画飞入 梯度法 定义设函数f(y)是向量y = (y1, y2, …, yn)T的函数，则f(y)的梯度定义为： 梯度是一个向量，它的最重要性质就是指出了函数f在其自变量y增加时最大增长率的方向。 负梯度指出f的最陡下降方向 利用这个性质，可以设计一个迭代方案来寻找函数的最小值。 4.5.4 梯度下降算法 4.5.4 梯度下降算法 (续) 梯度下降法简介 （详见最优化理论） 步长： 方向： 迭代公式： 采用梯度法求解的基本思想 感知器算法 式中的a(k)、yk随迭代次数k而变，是变量。 定义一个对错误分类敏感的准则函数 。先任选一个初始权向量a(1)，计算准则函数J的梯度，然后从a(1)出发，在最陡方向（梯度方向）上移动某一距离得到下一个权向量a(2) 。 若正确地选择了准则函数 ，则当权向量a是一个解时，J达到极小值（J的梯度为零）。由于权向量是按J的梯度值减小，因此这种方法称为梯度法（