第4章线形判别函数Read.docVIP

第4章 线形判别函数 在第 1章中，说明了模式的概念，它是取自客观世界中的一次抽 样试验样本的被测量值的综合。如果试验对象和测量条件相同，所有 测量值具有重复性，即在多次测量中，它们的结果不变，获得的模式 称为确定性的模式。否则，测量值是随机的，这样的模式称为随机性 的模式，简称随机模式。下面介绍确定性模式的分类方法。 4.1 线形判别函数的基本概念 在前面两章中讨论的分类器设计方法， 是在已知类条件概率密度 P( x | wi ) 和先验概率 P(wi ) 的条件下，用 Bayes定理求出后验概率 P(wi | x) , 并根据后验概率的大小进行分类决策。 在解决实际问题时，类条件概率密度 P(x | wi ) 很难求出，用非参数 估计方法又需要大量的样本。实际上我们可以不求 P(x | wi ) ，而是利用 样本集直接设计分类器， 也就是先给定某个判别函数类， 然后利用样本集确定判别函数中的未知参数。 这种方法针对不同的要求，所设计出的分类器应尽可能地满足这些要求，这个“尽可能好”的结果对应于判别准则函数取最优值。 前两章的 Bayes分类器，是使错误率或风险达到最小的分类器，通常称这种分类器为最优分类器。 相对而言其它准则函数下得到的分类器就是 “次优 ”的了。采用线性判别函数所产生的错误率或风险虽然比 Bayes分类器要大，但是线性判别简单、易实现、且需要的计算量 和存储量小，所以线性判别函数是统计模式识别的基本方法之一， 也是实际中最常用的方法之一。 在一个 d维的特征空间中 , x (x1,x2,...,xd )T , 线性判别函数的一般 表达式如下： 1 g(x) w1 x1 w2 x2 wd xd wd 1 其中， w1 ， w2 ， wd 1 为加权因子，或称为系数，若令： w ( w1 , w2 ,....,wd )T ，称为加权量，则： g (x) wT x wd 1 若令： x (x1, x2,...., xd ,1)T ，称为增广模式。 (w1 , w2 ,....,wd , wd 1 )T ，称为增广加权向量。则有 g(x) wT x 。 在两类情况下，仅用一个判别函数： g (x) g1 (x) g2 (x) 判别规则： g( x) 0 , 则 g ( x) 0 , 则  w1 w2 其分界面为： g(x) 0 。二维样本分布如下图所示。 一般地说， g( x) 0 被称为决策面方程，在三维空间里，它是区分界面；在二维空间里，它退化成区分界线；在一维空间里，它退化成区分点。 根据判决函数 g (x) 的数学表达式，有线性的判决函数，也有非线性的判决函数。但是，非线性判决函数一般都可以转变成线性判决函数（又称为广义线性判决函数）。这里主要研究线性判决函数。 上面针对两类情况进行了讨论，但对于多类问题， 定义多少个判 2 决函数，通常有三种解决方案。 1．多类问题中的线性判别函数 假设有 c个类型，分别为 w1, w2 ,....,wc ，且 c≥ 3。为了把所有的类型 分开，存在三种不同的技术途径，适用于三种不同情况，分别介绍如 下： 第一种情况： 通过唯一一个线性判别函数，将属于 i 类的模式与 其余不属于 i 类的模式分开。 对于 c类问题，需要 c个判别函数。 也就是： gi ( x) wi T x， i 1,2,...., c 其中每一个判别函数具有以下功能： gi (x) 0 ， x wi gi (x) 0 ， x wi ，且 i 1,2,...., c 通过这类判别函数， 把 c类问题转为 c个属于 wi 和不属于 wi 的问题。若把不属于 wi 记为 wi ，上述问题就成了 c个 wi 和 wi 的两类问题， 这又称 为 wi / wi 二分法 i 1,2,...., c 。 由上述分析知道，决策面 wiT x 0，把空间划分成两个区域，一个 属于 w w g (x) w T x j i 。 i ，另一个属于 i 。再考察另一个决策的判别函数 j j ， 其决策面 wj T x 0 同样把特征空间划分成两个区域，一个属于 wj ，另一 个属于 wj 。 这两个决策面分别确定的 wi 和 wj 类型区域可能会有重叠， 重叠的区域属于 wj 还是 wi 呢？这类判别函数无法作出判决。 同样 wi 和 wj 也可能出现重叠，如果由 c个决策面确定的 c个属于 wi （ i 1,2,...., c ） 的区域有一个共同的重叠区域时， 实验样本落入该区域时， 这类判别 函数不能对它做出判决。 因此，在使用这类判别函数时，特征空间会出现同属于两个类型 以上的区域和不属于任何类型的区域，样本落入这些区域时，就无法 3 作出最后判断，这样的区域就是不确定区，用 IR