模式识别1-2判别函数选编.ppt

§ 2-1、判别函数 § 2-2、线性判别函数 § 2-3、线性判别函数的性质 § 2-4、广义线性判别函数 § 2-5、非线性判别函数 ;假设对一模式X已抽取n个特征，表示为： 模式识别问题就是根据模式X的n个特征来判别模式属于ω1 ,ω2 , … , ωm 类中的那一类。 ;例如下图：三类的分类问题，它们的边界线就是一个判别函数;判别函数包含两类： 一类 是线性判别函数： 线性判别函数 广义线性判别函数 （所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数） 分段线性判别函数 另一类是非线性判别函数;§ 2-2 线性判别函数;在两类别情况，判别函数 g (x) 具有以下性质： 这是二维情况下判别由判别边界分类. 情况如图： ;2. n维情况;模式分类： 当 g1(x) =WTX=0 为判别边界 。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。 ;(二) 多类问题;右图所示，每一类别可用单个判别边界与其它类别相分开 。 如果一模式X属于ω1，则由图可清楚看出:这时g1(x) 0而g2(x) 0 ， g3(x) 0 。 ω1 类与其它类之间的边界由 g1(x)=0确定. ;例：已知三类ω1,ω2,ω3的判别函数分别为：;作图如下： ;对于任一模式X如果它的 g1(x) 0 ， g2(x) 0 ， g3(x) 0 则该模式属于ω1类。相应ω1类的区域由直线-x2+1=0 的正边、直线-x1+x2-5=0 和直线-x1+x2=0的负边来确定。 ;必须指出，如果某个X使二个以上的判别函数 gi(x) 0 。则此模式X就无法作出确切的判决。如图中 IR1,IR3，IR4区域。 另一种情况是IR2区域，判别函数都为负值。IR1，IR2，IR3，IR4。都为不确 定区域。;问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2类;这样 有 M(M _ 1)/2个判别平面。 对于两类问题，M=2，则有一个判别平面。 同理，三类问题则有三个判别平面。;判别函数性质： 假设判别函数为： ;问:未知模式X=(x1,x2)T=(4,3)T属于那一类;3。第三种情况;右图所示是M=3 的例子。对于ω1类模式， 必然满足g1(x) g2(x) 和 g1(x) g3(x) 。 假设判别函数为： 则判别边界为：;结论：不确定区间没有了，所以这种是最好情况。;问假设未知模式x= (x1,x2)T= (1,1)T ，则x属于那一类。 把它代入判别函数： 得判别函数为： 因为 所以模式x= (1,1)T属于 类。;§2-3、线性判别函数的性质;模式空间;;1、模式空间与加权空间（续）;该式表示一个通过加权空间原点的平面，此平面就是加权空间图中的平面①,同样令g (x2) =g (x3) =g (x4)=0，分别作出通过加权空间原点的平面②③④图中用阴影表示的部分是各平面的正侧。;这是一个不等式方程组，它的解 处于由ω1类所有模式决定的平面的正边和由ω2类所有模式决定的平面的负边，它的解区即为凸多面锥。 如图所示：(b)为加权空间，（c）为正规化后的加权空间。 由上可以得到结论：加权空间的所有分界面都通过坐标原点。这是加权空间的性质。 为了更清楚，下面用二维权空间来表示解向量和解区。;在三维空间里，令w3 = 0 则为二维权空间。如图： 给定一个模式X，就决定一条直线： 即分界面H，W与H正交，W称为解向量。 解向量的变动范围称为解区。 因x1,x2∈ω1， x3,x4∈ω2由图可见x1,x3离的最近，所以分界面H可以是x1,x3之间的任一直线，由垂直于这些直线的W就构成解区，解区为一扇形平面，即阴影区域。 如右图: ;把不等式方程正规化：;g(x)=WTX=0决定一个决策界面，当g(x)为线性时，这个决策界面便是一个超平面H，并有以下性质： 性质①：W与H正交（如图所示） 假设x1,x2是H上的两个向量 所以 W 与(x1-x2) 垂直，即W与H正交。 一般说，超平面H把特征空间分成两个半空间。即Ω1,Ω2空间，当x在Ω1空间时g(x)0,W指向Ω1，为H的正侧，反之为H的负侧.;Ω1; 矢量到H的正交投影 与 值成正比 ;另一方面:;性质③：;性质④：;一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为