第2章线性判别函数概念.pptVIP

第1章 绪论 第2章 线性判别函数 2.1 线性判别函数和决策面 2.2　感知准则函数 2.3　最小平方误差准则函数 2.4　Fisher线性判别函数 2.5　多类情况下的线性判别函数 2.1 线性判别函数和决策面 线性判别函数是决策论模式识别方法中的一种重要的基本方法，是形式最简单的判别函数，由于它具有计算简单，在一定条件下能够实现最优分类的性质，因此在实际中得到了广泛的应用。此外，许多其它决策论识别方法也可用判别函数来研究（非线性判别函数），它也是研究神经网络的基础。现在我们就从线性判别函数开始介绍统计模式识别的各种方法。 在统计模式识别方法中，首先应把能代表模式的那些特征抽取出来，构成一个代表这个模式的特征向量，表示为 当我们观察待分类模式时，每次观察到的样本都是不同的，他们可以看成是随机产生的。所以每次抽取到的模式特征都应看成是随机变量，从而代表这些模式的 n 维向量也应是随机向量。下面看一个三类模式例子，如图所示。三类模式可用边界线AD、BD和CD分开。 所以，如果根据以往大量的观察，知道模式类别的分布，从而能找出n 维空间中模式类之间的分界，就能解决模式的分类问题。这在实际上是一个通过给定样本的学习过程。 简便起见，在本章中我们假定抽取到的模式样本的边界是“整齐”而不混杂的，而且以后遇到的待分类模式基本上不超过学习样本的分布范围，从而利用这些样本得出的分类边界是无误差的。 为找出这些模式之间的分界面，可以利用判别函数来进行。对于n 维空间中的 c 个模式类别各给出一个由 n 个特征组成的单值函数，这叫做判别函数。在 c 类的情况下，我们共有 c个判别函数，记为 判别函数的性质 假如一个模式 X 属于第 i 类，则有 而如果这个模式在第 i 类和第 j 类的分界面上，则有 事实上，这是由 n 维模式降为1维或1个数的一种变换。 线性判别函数是所有模式特征的线性组合，表示为 二类情况下的线性判别函数 令 用其可以构造一个二类模式的线性分类器，如图所示。 二类情况下，决策面与模式向量的几何关系 是决策面方程，它是两类模式的分界，对于二维空间的情况，它是一条直线。下面，对一些关系作几何解释，如图所示。 2.2　感知准则函数 2.2.1　几个基本概念 2.2.2 感知准则函数及其梯度下降算法 2 样本的规范化 二类模式的线性分类器的决策规则为 引入增广模式向量和广义权向量 代入，决策规则可变为 取 可得 叫做规范化增广样本向量，为方便起见仍用 表示 3 解向量和解区 为了解线性不等式 （ 已规范化 ）需要构造一个准则函数。这里我们介绍一种常用的准则函数即所谓的感知准则函数，定义为如下的形式： 是由于使用权向量 而被误分类的样本集合。 也就是说，当对于某个向量 ，准则函数 达到极小值的话， 就是解权 向量，这时没有样本被错分类。现在用最优化方法——梯度下降算法寻找使 达到极小值的解权向量。 梯度下降算法基本思想 函数 在某点 的梯度 是一个向量，它的方向与过点 的等量面 的法线方向重合，指向 增加的一方，是准则函数变化率最大的方向。反之，负梯度的方向则是函数 减少得最快的方向。所以在求准则函数 的极小值时 ，沿负梯度方向搜索有可能最快地找到极小值。 梯度下降算法的实现 先任意选择一个初始的权向量 ，计算 上的梯度 ，从 出发在最陡方向（负梯度）上移动一个距离以得到下一个权向量值 ，用迭代公式表示为 请简述梯度下降算法？ 梯度下降算法应用举例——单样本修正法 参考教材P94，把样本看作一个不断重复出现的序列而逐个加以考虑，样本组成的样本序列为： 2.3　最小平方误差准则函数 2.2.1　平方误差准则函数及其伪逆解 2.2.2 MSE准则函数的梯度下降算法 前面我们介绍的感知器准则函数是在误分类样本的基础上建立的，它要求对于所有样本都能满足不等式 本节介绍的最小平方误差准则函数，它是一个基于全体样本的准则函数，要求满足等式 这样就可以将原来解一组线性不等式的问题转化为解一组线性方程组的问题。