武汉大学 模式识别 课件第三章.pptVIP

第三章 判别函数 第三章 判别函数 3.1 线性判别函数 3.2 广义线性判别函数 3.3 分段线性判别函数 3.4 模式空间和权空间 3.5 Fisher线性判别 3.6 感知器算法 3.7 采用感知器算法的多类模式的分类 3.8 可训练的确定性分类器的迭代算法 3.9 势函数法 — 一种确定性的非线性分类算法 3.10 决策树简介 3.1 线性判别函数 3.1.1 用判别函数分类的概念 模式识别系统的主要作用 判别各个模式所属的类别 对一个两类问题的判别，就是将模式x划分成ω1和ω2两类。 3.1 线性判别函数 3.1.1 用判别函数分类的概念 描述：两类问题的判别函数 3.1 线性判别函数 3.1.1 用判别函数分类的概念 用判别函数进行模式分类依赖的两个因素 （1）判别函数的几何性质：线性的和非线性的函数。 线性的是一条直线； 非线性的可以是曲线、折线等； 线性判别函数建立起来比较简单（实际应用较多）； 非线性判别函数建立起来比较复杂。 （2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。 只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。 3.1 线性判别函数 3.1.2 线性判别函数 n维线性判别函数的一般形式 权向量 增广模式向量 增广权向量 分类问题 两类情况：判别函数d(x) 多类情况：设模式可分成ω1, ω2,…, ωM共M类，则有三种划分方法 多类情况1 多类情况2 多类情况3 3.1 线性判别函数 3.1.2 线性判别函数 分类问题 多类情况1 判别函数 图例 [例子] 3.1 线性判别函数 3.1.2 线性判别函数 分类问题 多类情况2 判别函数 图例 [例子] 3.1 线性判别函数 3.1.2 线性判别函数 分类问题 多类情况3 判别函数 图例 [例子] 3.1 线性判别函数 3.1.2 线性判别函数 小结：线性可分 模式分类若可用任一个线性函数来划分，则这些模式就称为线性可分的，否则就是非线性可分的。 一旦线性函数的系数wk被确定，这些函数就可用作模式分类的基础。 3.1 线性判别函数 3.1.2 线性判别函数 多类情况1和多类情况2的比较 对于M类模式的分类，多类情况1需要M个判别函数，而多类情况2需要M*(M-1)/2个判别函数，当M较大时，后者需要更多的判别式（这是多类情况2的一个缺点）。 采用多类情况1时，每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开，而不是将一种类别的模式仅于另一种类别的模式分开。 由于一种模式的分布要比M-1种模式的分布更为聚集，因此多类情况2对模式是线性可分的可能性比多类情况1更大一些（这是多类情况2的一个优点）。 作业（1） 在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 作业（2） 一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。 设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 3.2 广义线性判别函数 出发点 线性判别函数简单，容易实现； 非线性判别函数复杂，不容易实现； 若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。 3.2 广义线性判别函数 基本思想 设有一个训练用的模式集{x}，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若取 x* = (f1(x), f2(x), …., fk(x)), kn 则分类界面在x*中是线性的，在x中是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可以用线性判别函数来进行分类。 描述 3.2 广义线性判别函数 广义线性判别函数的意义 线性的判别函数 fi(x)选用二次多项式函数 x是二维的情况 x是n维的情况 fi(x)选用r次多项式函数， x是n维的情况 [例子] d(x)的总项数 说明 d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维数不高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难。 实际情况可只取r=2，或只选多项式的一部分，例如r=2时只取二次项，略去一次项，以减少x*的维数。 3.2 广义线性判别函数 [例子：一维样本空间 -〉二维