模式识别课件)(第4章 NO2)(感知器判别函数).pptVIP

* * * * * * * * * * * * * * * 　　而且该方法，不论YTY是否为奇异矩阵，总能产生一个解（即得有用的权向量）a*，且该算法只需计算 × 方阵(YTY),这比计算 ×N矩阵(YTY)-1YT的计算量要小的多。 　　为了进一步减少计算量和存储量，由于 　　 YT(Ya - b) = (aTYk - bk) Yk 采用类似于“感知准则函数”中的单样本修正法，将梯度下降算法修改为： 　　① a(1) 任意给定初值 　　② a(k+1) = a(k) + (bk - aT(k) Yk) Yk 这称为W-H(Widrow-Hoff)算法。 说明：不论用伪逆法还是梯度法所求得的a*都依赖于b，当b取某些特殊值时，MSE解将具有一些特殊的性质。 (1) 设N为总的样本数，N1和N2分别为ω1和ω2类的样本数，a*1为Fisher准则函数取最大值时的解。 当 时 MSE解a*等价于Fisher 解。 即 (2) 令 b=(1,1,···,1)T（N个1），当样本数N→∞时，MSE解以最小均方误差逼近Bayes 判别函数。 g0(X) = p(ω1|X) - p(ω2|X) 但注意：这种逼近Bayes 判别函数的性质并不一定能像Bayes方法那样极小化错误概率。 三. 随机MSE准则函数及其随机逼近算法 　　前述方法是针对确定性样本集。但实际中，样本总是随机抽取的，所以应将每个样本X都看作抽自某个总体分布的随机变量——即随机样本集。 　　对于两类(ω1和ω2)问题，设样本是独立抽取的，并先按概率p(ωi)选择一个类别状态，再按p(X/ωi)选择一个样本X，每个样本都有一个类别标志(用Z来表示)，则 +1　　对于X? ω1 Z = -1　　 对于X? ω2 这样便得到一个无穷的数据序列(X1,Z1)，(X2,Z2),······,(Xk,Zk)····· 　　在X已知情况下，随机变量Z(X)的条件概率为： 　 p(Z =1|X) = p(ω1|X) 　p(Z=-1|X) = p(ω2|X) 　　由于Z(X)仅取二值，所以Z(X)的条件期望为： 　　　　E[Z(X)] = p(Z|X) 　　　　= p(ω1|X) - P(ω2|X) 　　　　= g0(X) 　　即Z(X)的条件期望是Byaes判别函数g0(X)。 　　类似于确定性样本时的MSE准则函数，对于随机样本序列，可定义随机MSE准则函数如下： 　　　JSR(a) = E [(aTY- b)2] 4.6 多类情况下的线性判别函数 前面我们重点讨论了二类模式情况下的线性判别方法，不难把它们推广到多类别的情况。可以把多类问题化为二类问题来解决，也可以直接按多类问题来解。 1、按二类问题解 ①是把 c 类问题转化为 个二类模式的分类问题。其中第 i 个问题就是用线性判别函数把属于 类的模式同不属于 的模式分开。 ②是用 次二类模式线性判别，每次只从样本集中判别指定的二类的决策面。 两种方法都会产生模糊区域，结合下图进行分析。 返回本章首页 返回本章首页 返回本章首页 2 按多类问题解（结合第一节内容） 如果不用区别二类问题的线性判别函数，可采用一般的c 类线性判别函数： 如果对于所有的 ，有 则把模式 归到 类去 而如果这个模式在第 i 类和第 j 类的分界面上，则有 返回本章首页 返回本章首页 返回本章首页 线性机器的决策区域的特点 （1）所有决策区域是凸的； （2）每个决策区域都是单连通的； （3）不存在拒绝分类的死区； 返回本章首页 * * * * * * * * * * * * * * * * * * * * 4.3 感知准则函数 一.几个基本概念 1. 线性可分性 含义：若存在一个权向量a(即直线)，能将样本集按类分开，则称之为是线性可分的。 定义：设有d维N个样本的样本集X1,X2······Xn，且分别来自ω1和ω2类。其线性判别函数为： 　　WTXi+W0 其