模式识别导论2.pptVIP

信息工程学院 第二章 判别函数 § 2-1、判别函数 § 2-2、线性判别函数 § 2-3、线性判别函数的性质 § 2-4、广义线性判别函数 § 2-5、非线性判别函数 § 2-1 判别函数 假设对一模式X已抽取n个特征，表示为: 模式识别问题就是根据模式x的n个特征来判别模式属于ω1 ,ω2 , … , ωm 类中的那一类。 § 2-2 线性判别函数 我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下判别函数: (2)n维情况 现抽取n个特征为： 判别函数： (二) 多类问题 对于多类问题，模式有 ω1 ,ω2 , … , ωm 个类别。可分三种情况： 1.第一种情况：每一模式类与其它模式类间可用单个判别平面把一个类分开。这种情况，m类可有m个判别函数，且具有以下性质： 例：已知三类ω1,ω2,ω3的判别函数分别为： 问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2　　　　　 类 2．第二种情况 每个模式类和其它模式类间可分别用判别平面分开。 有 M(M -1)/2个判别平面。 对于两类问题，M=2，则有一个判别平面。 同理，三类问题则有三个判别平面。 判别函数： 判别边界： 判别条件： 结论：判别区间增大，不确定区间减小，比第一种情况小的多. 问:未知模式X=(x1,x2)T=(4,3)T属于那一类 代入判别函数可得: 把下标对换可得: 因为 结论：所以X 属于ω3类 3．第三种情况 每类都有一个判别函数,存在m个判别函数 用上列方程组作图如下： §2-3.线性判别函数的性质 1、模式空间与加权空间 模式空间：由 构成的n维欧氏空间。 W是此空间的加权向量，它决定模式的分界面H，W与H正交。 加权空间：以 为变量构成的欧氏空间 模式空间与加权空间的几何表示如下图： 在三维空间里，令w3 = 0 则为二维权空间。如图： 给定一个模式X，就决定一条直线： 即分界面H，W与H正交，W称为解向量。 解向量的变动范围称为解区。 因x1,x2∈ω1， x3,x4∈ω2由图可见x1,x3离的最近，所以分界面H可以是x1,x3之间的任一直线，由垂直于这些直线的W就构成解区，解区为一扇形平面，即阴影区域。 如右图: g(x)=WTX=0决定一个决策界面，当g(x)为线性时，这个决策界面便是一个超平面H，并有以下性质： 性质①：W与H正交（如下图所示） 假设x1,x2是H上的两个向量 所以 W 与(x1-x2) 垂直，即W与H正交。 一般说，超平面H把特征空间分成两个半空间。即Ω1,Ω2空间，当x在Ω1空间时g(x)0,W指向Ω1，为H的正侧，反之为H的负侧. §2-4、广义线性判别函数 1.分段线性判别函数（用线性无法分开,可用分段线性判别函数） ①基于距离的分段线性判别函数。（用均值代表一类，通过均值连线中点的垂直线分开） 把ωi类可以分成l个子类: ∴ 分成l个子类。 现在定义子类判别函数： 在同类的子类中找最近的均值。 判别规则： 这是在M类中找最近均值。则把x归于ωj类完成分类。 ②基于函数的分段线性判别函数 利用均值代表一类有时有局限性，如图所示。若用 线性判别函数代表一类，就会克服上述情况。 ③基于凹函数的并分段线性判别函数（针对多峰情况） 设li子类判别函数，i=1,2,…..r则分段线性判别函数有如下特性： 例、设如图 3、超平面的几何性质 Ω1 Ω2 g(x)0 g(x)0 矢量到H的正交投影 与 值成正比 其中： x p： x在H 的投影向量， r是x 到H 的垂直距离。 是W方向的单位向量。 性质 ②： 另一方面: 　　这是超平面的第二个性质，矢量x到超平面的正交投影 　　　　　　 　　正