模式识别-2-线性判别函数和线性分类器设计.ppt

第二章 线性判别函数与线性分类器设计 判别函数 线性判别函数 线性判别函数的性质 线性分类器设计 梯度下降法—迭代法 感知器法 最小平方误差准则(MSE法)---非迭代法 Fisher分类准则 §2.2 线性判别函数 我们现在对两类问题和多类问题分别进行讨论。 一、两类问题：即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数: 2. n维情况： 现抽取n个特征为： 判别函数： 另外一种表示方法： 例：已知三类ω1,ω2,ω3的判别函数分别为： 因此，三个判别边界为： 问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2类 判别函数： 判别边界： 判别条件： 问:未知模式X=(x1,x2)T=(4,3)T属于那一类？ 代入判别函数可得: 把下标对换可得: 因为 结论：所以X 属于ω3类 第三种情况： 判别函数： 判别规则： 判别边界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由gi(x) =gj(x) 或gi(x) -gj(x) =0来确定。 结论：不确定区间没有了，所以这种是最好情况。 关于线性判别函数的结论： 模式类别若可用任一线性判别函数来划分，这些模式就称为线性可分；一旦线性判别函数的参数确定，这些函数即可作为模式分类的基础。 对于M（M≥2）类模式分类，第一、三种情况需要M个判别函数，第两种情况需要M(M-1)/2个判别函数。 对于第一种情况，每个判别函数都要把一种类别（比如i类）的模式与其余M-1种类别的模式划分开，而不是仅将一类与另一类划分开。 实际上，一个类的模式分布要比M-1类模式分布更聚集，因此后两种情况实现模式线性可分的可能性要更大一些。 §2.3 广义线性判别函数 研究动机 线性判别函数简单，容易实现； 非线性判别函数复杂，不容易实现； 若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。 基本思想 设一模式集{x}，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即 x* = (f1(x), f2(x), …., fk(x)), kn 则分类界面在x*空间是线性的，在x空间是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可用线性判别函数进行分类。 广义线性判别函数的意义 线性的判别函数：若fi(x)=ax+b是一次函数，这相当于把x空间进行了尺度放缩和平移，并且在相同的尺度因子和位移因子上做变换，那么变换后仍然具有相似的线性特征。 fi(x)选用二次多项式函数： 对于二维情况：模式空间为 ，原判别函数为： 可线性化为： 其中 fi(x)为r次多项式函数， x是n维的情况，则 讨论： (1) g(x)的总项数为： 显然，Nw随r和n的增加会迅速增大，即使原来模式x的维数不高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难（称为维数灾难）。实际上，一般r只取2。 (2)采用二次多项式函数fi(x)的判别函数也可用矩阵形式表示： 式中，A为实对称矩阵。判别界面的几何形状由矩阵A决定：若A=I，则判别函数为超球面；若A为正定，则判别函数为超椭球面，轴方向为A的本征向量方向；A为半正定，判别函数为超椭圆柱面；A为不定，判别函数为超双曲面体。 §2.3 线性判别函数的性质 一、模式空间与加权空间： 模式空间：由 构成的n维欧氏空间。 W是此空间的加权向量，它决定模式的分界面H，W与H正交。 加权空间：以 为变量构成的欧氏空间 模式空间与加权空间的几何表示如下图： 在三维空间里，令w3 = 0，则为二维权空间。如图： 给定一个模式X，就决定一条直线： 即分界面H，W与H正交，W称为解向量。 解向量的变动范围称为解区。 因x1,x2∈ω1， x3,x4∈ω2由图可见x1,x3离的最近，所以分界面H可以是x1,x3之间的任一直线，由垂直于这些直线的W就构成解区，解区为一扇形平面，即阴影区域。 如右图: g