Ch.3 线性与非线性判别函数.pptVIP

第1章 绪论 第1章 绪论 * 线性与非线性判别函数 模式识别 钟珞等编著 武汉大学出版社 2006.9 * 本章主要内容 l感知准则函数 l最小平方误差准则 l最小错分样本数准则 l Fisher线性判别准则 l分段线性判别函数 l二次判别函数 第3章 线性与非线性判别函数 * 第2章中介绍了在样本的先验概率和分别函数已知时的Bayes分类器的设计。本章主要直接根据训练样本提供的信息，直接设计分类器，进行特征空间的划分。 3.1 感知器准则函数 3.1.1 线性判别函数的基本概念 在Rd中，向量X=(x1,x2,…,xd)T的线性判别函数为： g(X)=w1x1+w2x2+…+wdxd+wd+1 =WTX+wd+1 其中：W=(w1,w2,…,wd)T为权向量 若令 W=(w1,w2,…,wd，wd+1)T为增广权向量 X=(x1,x2,…,xd ,1)T为增广模式向量 则： g(X)=WTX 第3章 线性与非线性判别函数 * 在两类情况下，令g(X)=g1(X)-g2(X) 判别规则为： 线性分类器的设计就是确定权向量W的过程。方法为： l采集训练样本 l确定可以反映分类性质的准则函数J＝J(X，W) l设计求解W的最优算法，求解W。 l建立分类函数g(X) 一旦得到W后，就可将模式正确分类。 第3章 线性与非线性判别函数 * 3.1.2 感知器概念及其训练算法 1.感知器概念 感知器是F.Rosenblatt在1957年提出的具有单层计算能力的神经元模型。 Y=f(?wixi-?) 如?wixi-?0 ,那么y=1,否则，y=-1. 其中：W=(w1,w2,…,wd)T,X=(x1,x2,…,xd)T 。权值W是通过训练学习进行调整，实现线性可分函数。Rosenblatt已经证明：如果两类模式线性可分，那么算法一定收敛。 第3章 线性与非线性判别函数 * 2.感知器算法 设：训练样本X={x1,x2,…,xn}分别属于类ωi和ωj，并且xk的类别已知，则权向量W可通过下面算法确定： (1) 初值：k=0,W任意，c0。 (2) 输入样本xk，计算判决函数g(xk)=WT(k)xk. (3) 修正向量W(k) xk?ωi∧g(xk)?0 ?W(k＋1)＝W(k)＋cxk xk?ωj∧g(xk)0 ?W(k＋1)＝W(k)-cxk (4) 若W对所以样本稳定转（5），否则转（2) (5) 算法结束 注意：c?(0,1].如果将(3)中ωj类的xk乘－1，就可将修改权向量表示为(赏罚法)： g(xk)0 ?W(k＋1)＝W(k) g(xk)≤0 ?W(k＋1)＝W(k)+cxk 第3章 线性与非线性判别函数 * 例：用感知器法求权向量W,其中样本ω1={p1,p2},ω2={p3,p4}, p1=(0,0)T,p2=(0,1)T,p3=(1,0)T,p4=(1,1,)T 解：给样本乘－1，得到样本的增广向量： p1=(0,0,1)T,p2=(0,1,1)T,p3=(-1,0,-1)T,p4=(-1,-1,-1)T 取C=1，W(1)=(0,0,0)T l??第1轮： WT(1)p1=(0,0,0)(0,0,1)T=0 W(2)=W(1)+p1=(0,0,1)T WT(2)p2=(0,0,1)(0,1,1)T=1 W(3)=W(2) WT(3)p3=(0,0,1)(-1,0,-1)T=-1 W(4)=W(3)+p3=(-1,0,0)T WT(4)p4=(-1,0,0)(-1,-1,-1)T=1 W(5)=W(4) l??第2轮： WT(5)p1=(-1,0,0)(0,0,1)T=0 W(6)=W(5)+p1=(-1,0,1)T WT(6)p2=(-1,0,1)(0,1,1)T=1 W(7)=W(6) WT(7)p3=(-1,0,1)(-1,0,-1)T=0 W(8)=W(7)+p3=(-2,0,0)T WT(8)p4=(-2,0,0)(-1,-1,-1)T=2 W(9)