线性判别函数.ppt

第2章 线性判别函数 2.1 线性判别函数和决策面 2.2 感知准则函数 2.3 最小平方误差准则函数 2.4 多类判别问题 2.5 分段线性判别函数 2.6 Fisher线性判别函数 2.7 支持向量机 假设抽取到的模式样本的边界是“整齐”而不是混杂的，而且以后遇到的待分类模式基本上不超过学习样本的分类范围，从而利用这些样本得出的分类边界是无误差的。因此这些模式类之间的分界面，可以利用线性判别函数来进行。 对于n维空间中的c 个模式类别各给出一个由n个特征组成的单值函数，这叫做判别函数。在c类的情况下，我们共有c个判别函数，记为g1(x)，g2(x)，… gc(x) ，它们分别对应于模式类?1 ，?2 ，…?c 。 作为判别函数，它应具有如下的性质：假如一个模式X属于第i类，则有： 而如果这个模式在第i类和第j类得分界面上，则有： 如果判别函数取线性判别函数，它是所有模式特征的线性组合。对于第i类模式，有如下形式： 式中 是特征的系数，称为权， 为阈值权。 如果对第i类模式定义n维权向量为： 则判别函数可写成更简洁的形式： 2.3 最小平方误差准则函数 2.4 多类判别问题 为了解决比较复杂的线性不可分样本分类问题，提出了非线性判别函数。这个分界面是一个超曲面。如图所示的分界面Ⅱ 所示。但是非线性判别函数计算复杂，实际应用上受到较大的限制。解决问题的另一个方法是采用多个线性分界面，将它们分段连接，用分段线性划分去逼近分界的超曲面。如图分界面Ⅲ 所示。他的决策面由几个超平面段组成。它 有可能利用已知的线性判别函数来解决分类问题，并较好地逼近分类的超曲面，从而减少分类误差。 分段线性判别函数的算法很多，它的计算量较之非线性判别函数大大减少。难点是如何舍弃这些超平面的无效部分而根据任务正确地将有效区段相互连接的问题。 下面的分段线性划分算法较易实现，它用全部正确分类的超平面将空间划分为若干区域，每个区域都是凸的超多面体。在这些超多面体中的样本都是属于同一类的。如果将每个超平面分割的正面半空间赋予“1”，反面赋予“0”，则这些超多面体可 用所有的超平面的正反面的编码来代表。这就达到 了用分段线性划分来分类的目的，见图。 由于分段线性划分的解可能由不同的样本分割方式形成，一般情况下不是唯一的。但每个解都能满足要求。 分段线性划分也存在误差。处理分类误差可有二种方法： （1）增加超平面数目，达到满足当前样本正确分类的目的； （2）适当限制超平面数目，而允许一定的分类误差存在。 因为问题是非参数的，我们除了分类好的样本外一无所知，所以在有限样本的情况下，我们仅能讨论是当前样本下误差最小，这可以在多个可能解中用误分样本数最小或误差平方和最小作为准则来达到。一般说来，当样本足够大时，分段线性分界面是渐进于真实的超曲面分界的，因而这样的分界面是可行的。而在小样本的情况下，很难说一个算法得到的结果是最优的。 下面介绍两种二类线性判别函数推广得到的分段线性判别函数的算法。 如图所示，先用二类线性判别函数找出一个分界面 ， 它将样本大致分成两类。因为样本集不是线性可分的，所以 两面的模式都会混杂。再对 的正反面的模式样本分别应用线性判别函数求得 和 ，如此继续下去，直至每个分界面都将样本正确分类为止。连接相应的各分界面 ， ，即得分段线性判别函数所决定的决策面。对这个方法可以采用遗传算法，它提供当前样本下的最优解。 第二种方法是用一个超平面将空间划分为两个半空间，它的正面仅包含一类“纯”的样本；它的反面则允许两类样本混杂。下一步则是对反面的混杂样本再次使用一个超平面分割，其正面分离出一类纯样本，而反面允许二类样本混杂。继续进行程序直至样本被超平面完全划分为止。划分的过程中