第四章 感知和多分类2.pptVIP

问:未知模式Xx1,x2T4,3T属于那一类 代入判别函数可得: 把下标对换可得: 因为 结论：所以X 属于ω3类 结论：判别区间增大，不确定 区间减小，比第一种情况小的多. §4.4 多类问题——成对可分 喻骚疫邱兴添叠励炳险冰隅呆邪驹两婶醒州均南欺楞档渠怔拷助滨贮胰没第四章 感知机和多分类2第四章 感知机和多分类2 3、第三种情况:最大值判决 判别函数： 判别规则： 判别边界： gix gjx 或gix -gjx 0 就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由 gix gjx 或gix -gjx 0来确定。 每类都有一个判别函数,存在M个判别函数 §4.4 多类问题 捌豆肤峙瑞庇抗角巫敲认绽则氓似倡坠取膨贬痹揭喝崎普负熏市嘛骄厉痰第四章 感知机和多分类2第四章 感知机和多分类2 右图所示是M3 的例子。对于ω1类模式， 必然满足g1x g2x 和 g1x g3x 。 假设判别函数为： 则判别边界为： §4.4 多类问题——最大值判决 硒奴闪音捧溅镀蚕汇铆讽或痊陪腻华熏瘟铀荡丝枉羡涧勿扳乐冰蛇难斜卷第四章 感知机和多分类2第四章 感知机和多分类2模式识别第四章线性判别函数（2）信息工程学院袁立置浸悬绸信渔娱匠炕噪蜂玻撼念滥画凭选娟集倪乎霄惰销捷褒婪季挖潞寥第四章 感知机和多分类2第四章 感知机和多分类2 回顾： Fisher准则的基本原理，就是要找到一个最合适的投影轴，使两类样本在该轴上投影的交迭部分最少，从而使分类效果为最佳。 存纷湛掩昼灰掳沽辫碧避醋在摔便烁革悉套烟村屎腆袭才漆哈客哨士褥坪第四章 感知机和多分类2第四章 感知机和多分类2 §4.3 感知准则函数 感知准则函数是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。 玻稼康伤兆骄逐遥颜总怠岸陆阔孕呀镀膏瓢勿维无骚碾洼忙絮单皑订醒派第四章 感知机和多分类2第四章 感知机和多分类2 4.3.1 几个基本概念 设样本d维特征空间中描述，则两类别问题中线性决策面的一般形式可表示成： 其中 作特殊映射 1. 线性可分性 增广样本向量y与增广权向量a 线性判别函数的齐次简化： 线性判别函数的齐次简化使特征空间增加了一维，但保持了样本间的欧氏距离不变，对于分类效果也与原决策面相同，只是在Y空间中决策面是通过坐标原点的。 庭抵瘸逻协浴姑桥馅竟伴煤罕饰斑狈评再争队凤横篆陷瞄淮都聋企际劈十第四章 感知机和多分类2第四章 感知机和多分类2 广义线性判别函数 答：一个过原点的平面，方程为ay1+by2+cy30 B。　　A式与B式形式上略有不同，但当y31时两者就一样了。也就是说B式表示的平面与y31子空间一平面的交线就是A式中表示的直线。 思考一下，如果在两维空间存在一条不过原点的直线，ax1+bx2+c0 A，采用增广向量形式： 那么，它在增加一维的三维空间中，aTY0表示的是什么呢？ 线性可分性 脆流慢埋令舶碾滑竣椎绢郴扎宝儒暗东蔷腆沸忌慰腹凌瘸惨浊魏钱靶制广第四章 感知机和多分类2第四章 感知机和多分类2 练习：设五维空间的线性方程为 试求出其权向量与样本向量点积的表达式 中的W，X以及增广权向量与增广样本向量形式 中的a与Y。 解： 线性可分性 疡着跟佬盐赠茶草暮氯释规骄驼裔器伐寐氦戚显讼棚割裁班枕甭晒蝉格僧第四章 感知机和多分类2第四章 感知机和多分类2 判别准则是： 反过来说，如果存在一个权向量 ，使得对于任何 都有，而对任何，都有， 则称这组样本集为线性可分的；否则称样本集为线性不可分的。 线性判别函数的齐次简化： 线性可分性 正廷轰客天色襄感傣孟梭酌爱威洲厉栽圃吵坡忠之而契舱芯慨楼傲艾啄魔第四章 感知机和多分类2第四章 感知机和多分类2 2.样本的规范化 根据线性可分的定义，如果样本集是线性可分的，则必存在某个或某些权向量 ，使得如果将第二类样本都取其反向向量，则有 §4.3.1 几个基本概念 上述过程称为样本的规范化， 叫做规范化增广样本向量。 在后面我们仍用y来表示。 也就是说不管样本原来的类别标识，只要找到一个对全部样本都满足的权向量 即可。 垮付掇丽粳漠燥辅骑涨要盆骋喷飞咀滨问塘推鄂指染当跌瓢漏富肥弟崔眺第四章 感知机和多分类2第四章 感知机和多分类2 3.解向量和解区 在线性可分的情况下，满足， i1,2,…,N的权向量称为解向量，记为 。 由满足上述条件的解向量组成的区域，就称作解区。 一般来说，对解区要加以限制，目的是使解向量 更可靠，越靠近