模式识别原理ppt课件第3章判别函数及几何分类法.ppt

第3章 判别函数及几何分类法 3.1 判别函数 3.2 线性判别函数 3.3 广义线性判别函数 3.4 线性判别函数的几何性质 3.5 感知器算法 3.6 梯度法 3.7 最小平方误差算法 3.8 非线性判别函数 3.1 判别函数 聚类分析法（第二章） 判决函数法 几何分类法 [确定性事件分类] （第三章） 概率分类法 [随机事件分类] （第四章） 线性判决函数法 统 计 决 策 方 法 非线性判决函数法 复习与引申： 若分属于ω1，ω2的两类模式可用一方程d(X) =0来 划分，那么称d(X) 为判别函数，或称判决函数、 决策函数。 3.1 判别函数(discriminant function) 直接用来对模式进行分类的准则函数。 例：一个二维的两类判别问题，模式分布如图示，这些分属于ω1，ω2两类的模式可用一直线方程 d(X)=0来划分。 式中： 图3.2 两类二维模式的分布 1．判别函数的定义 若 ，则 若 ，则 类； 或拒绝 将某一未知模式 X 代入： 维数=3时：判别边界为一平面。 维数3时：判别边界为一超平面。 d(X) 表示的是一种分类的标准，它可以是1、2、3维的， 也可以是更高维的。 判别界面的正负侧，是在训练判别函数的权值时确定的。 2．判别函数正负值的确定 图3.3 判别函数正负的确定 1）判决函数d(X)的几何性质。它可以是线性的或非线性的函 数，维数在特征提取时已经确定。 3. 确定判别函数的两个因素 例：非线性判决函数 2）判决函数d(X)的系数。用所给的模式样本确定。 3.2 线性判别函数 3.2.1 线性判别函数的一般形式 将二维模式推广到n维，线性判别函数的一般形式为： (3-2) 增广向量的形式： 式中： 为增广权向量， 为增广模式向量。 3.2.2 线性判别函数的性质 1. 两类情况 对M个线性可分模式类，ω1， ω2，… ωM，有三种 划分方式： 2. 多类情况 用线性判别函数将属于ωi类的模式与其余不属于ωi类的 模式分开。 识别分类时： 对某一模式区，di(X)0 的条件超过一个，或全部 的di(X)0 ，分类失效。 相当于不确定区(indefinite region ，IR)。 此法将 M 个多类问题分成M个两类问题，识别每一类均 需M个判别函数。识别出所有的M类仍是这M个函数。 例3.1 设有一个三类问题，其判别式为： 现有一模式，X=[7,5]T，试判定应属于哪类？并画出三类模式的分布区域。 解：将X=[7,5]T代入上三式，有： 三个判别界面分别为： 图示如下： 步骤： a) 画出界面直线。 b) 判别界面正负侧：找特殊点带入。 c) 找交集。 例3.2 已知di(X)的位置和正负侧，分析三类模式的分布区域 。 一个判别界面只能分开两个类别，不能把其余所有的类 别都分开。判决函数为： 。这里 。 识别分类时： 判别函数性质： 例3.3 一个三类问题，三个判决函数为： x2 x1 d23(X)=0 d12(X)=0 d13(X)=0 5 5 3 0 分类时：每分离出一类，需要与I 有关的M-1个判决函数；要分开M类模式，共需M(M-1)/2个判决函数。对三类问题需要3(3-1)/2=3个判决函数。即：每次从M类中取出两类的组合： 例3.4 已知dij(X)的位 置和正负侧，分析三 类模式的分布区域 。 当ωi /ωj两分法中的判别函数dij(X) ，可以分解为 时，那么di(X) dj(X)就相当于多类情况2中的dij(X) 0。 因此对具有判别函数 的M类情况，判别函数性质为： 或： 识别分类时： 判别界面需 要做差值。对ωi 类，应满足： di其他所有d ② 除边界区外，没有不确定区域。 特点： ① 是第二种情况的特例。由于dij(X)= di (X) － dj(X) ，若在第三 种情况下可分，则在第二种情况下也可分，但反过来不一定。 例3.5 一个三类模式（M=3）分类器，其判决函数为： 试判断X0=[1,1]T属于哪一类，且分别给出三类的判决界面。 解：① 判决界面如图所示。 例3.6 已知判决界面的位置和正负侧，分析三类模式的分布 区域 。 (1) 明确概念：线性可分。 一旦线性判别函数的系数Wk