第四章 感知机及多分类2.ppt

问:未知模式X=(x1,x2)T=(4,3)T属于那一类 代入判别函数可得: 把下标对换可得: 因为 结论：所以X 属于ω3类 结论：判别区间增大，不确定 区间减小，比第一种情况小的多. §4.4 多类问题——成对可分 3、第三种情况:最大值判决 判别函数： 判别规则： 判别边界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由 gi(x) =gj(x) 或gi(x) -gj(x) =0来确定。 每类都有一个判别函数,存在M个判别函数 §4.4 多类问题 右图所示是M=3 的例子。对于ω1类模式， 必然满足g1(x) g2(x) 和 g1(x) g3(x) 。 假设判别函数为： 则判别边界为： §4.4 多类问题——最大值判决 结论：不确定区间没有了，所以这种是最好情况。 用上列方程组作图如下： §4.4 多类问题——最大值判决 问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数： 得判别函数为： 因为 所以模式x= (1,1)T属于 类。 §4.4 多类问题——最大值判决 §4.5利用感知准则实现多类判别 第四章 线性判别函数 步骤： (1)增广样本，但是不用进行规范化； （注意和两分类问题的区别） (2)每一类设定一个初始权向量 (3)对第i类的样本yj，若 则 (4)对所有样本重复（3），直到满足 例： 解： 4.5 利用感知准则实现多类判别 4.5 利用感知准则实现多类判别 4.5 利用感知准则实现多类判别 4.5 利用感知准则实现多类判别 4.5 利用感知准则实现多类判别 §4.6 本章小结 线性判别函数的基本概念 Fisher线性判别 感知准则函数 多类问题 * ????????????? ?????????????? ???????????? ??????????? ???????????? ????????????? ????????????? ????????????? ????????????? 模式识别 第四章线性判别函数（2） 信息工程学院 袁立 回顾： Fisher准则的基本原理，就是要找到一个最合适的投影轴，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。 §4.3 感知准则函数 感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。 4.3.1 几个基本概念 设样本d维特征空间中描述，则两类别问题中线性决策面的一般形式可表示成： 其中 作特殊映射 1. 线性可分性 增广样本向量y与增广权向量a 线性判别函数的齐次简化： 线性判别函数的齐次简化使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的。 广义线性判别函数 答：一个过原点的平面，方程为ay1+by2+cy3=0 (B)。　　(A)式与(B)式形式上略有不同，但当y3=1时两者就一样了。也就是说(B)式表示的平面与y3=1子空间(一平面)的交线就是(A)式中表示的直线。 思考一下，如果在两维空间存在一条不过原点的直线，ax1+bx2+c=0 (A)，采用增广向量形式： 那么，它在增加一维的三维空间中，aTY=0表示的是什么呢？ 线性可分性 练习：设五维空间的线性方程为 试求出其权向量与样本向量点积的表达式 中的W，X以及增广权向量与增广样本向量形式 中的a与Y。 解： 线性可分性 判别准则是： 反过来说，如果存在一个权向量 ，使得对于任何 都有 ，而对任何 ，都有 ， 则称这组样本集为线性可分的；否则称样本集为线性不可分的。 线性判别函数的齐次简化： 线性可分性 2.样本的规范化 根据线性可分的定义，如果样本集 是线性可分的，则必存在某个或某些权向量 ，使得 如果将第二类样本都取其反向向量，则有 §4.3.1