模式识别课件﹝总顺序No8﹞﹝第五章NO1﹞﹝杨雅双﹞﹝071120﹞﹝非线性判别﹞.pptVIP

第五章 非线性判别函数 5.1 分段线性判别函数的基本概念 特殊的非线性判别函数，其确定的决策面是由若干超平面段组成的。 它的基本组成仍是超平面，在超平面段较多时，能逼近各种形状的超曲面。 图5.1含线性判别函数、分段线性判别函数及二次判别函数。 一、基于与类心距离的分段线性判别函数 根据前述可知。当类条件概率密度函数为正态分布，各特征统计独立且方差相同时，Bayes决策规则具体为一个线性距离判别函数，特别是当 　 　时，决策规则为： 注：X到μ1的距离小于(或大于)X到μ2的距离时, μ为随机变量X的数学期望 决策面是两类期望（“中心点”）连线的垂直平分面。见图5.2，称最小距离分类器。 将均值（“重心”或“中心点”）作为各类的代表点，用距离作为判别函数进行分类。 但是在一些情况下，当类域是非单连通的或者一个类域有若干个模式相对密集的区域。此时，若仍用每一类只取一个点代表就不恰当了(因为这时若应用简单线性判别函数分类，则结果将会有很多错分。)，而应用那些样本较密集的子区的中心“联合”代表该类。 例如：图5.3，两类分布，　　　类都是多峰分布。 方法1：若把　　　 类的均值m1和m2作为代表类，得到分界面Ⅰ，则错分率较高。 方法2：如果每类取多个代表点， 如 类取两个代表点，m11，m12； 类取三个代表点，m21，m22，m23。 　则得到分段线性分界面Ⅱ(其中每一段都是最小距离分类器)。 总之：如果对于　类取li个代表点。也就是说，把属于　　类的样本区域Ri分为li个子区域，即 其中Ril表示第i类的第l个子区域，用mil表示该子区域中样本的均值向量，且以此作为该子区域的代表点。则可定义如下判别函数： 若有 则将X归到　 类。－－－－分段线形距离分类器 二、分段线性判别函数 1 引言：前述的以每类（或分为若干子区域）的均值向量作为代表点以设计最小距离分类器，在一些情况下不适用。 例如。图5.4。各类样本服从正态但非等协差分布，其概率密度面为超椭球面，以Bayes决策规则对样本Ｘ进行分类时 ，应为 类，但若以μi作为代表点，并按μi的欧式距离进行分类，则 类。 2 将每一类分为若干个子类，即令 然后，对每一个子类定义一个线性判别函数， 式中 分别称为对子类 的权向量和阈值权。 如果定义 类的线性判别函数为： 则对于c类问题，可以定义c个判别函数gi(Ｘ)(i=1,….,c)，并得到决策规则，即： 说明： ① 先找到具有最大判别函数值的子类（设为gin(Ｘ)），则把样本Ｘ归到子类 所属的类， 即 类。 ② 这样得到的决策面也是分段线性的，其决策面方程是由各子类的判别函数确定的。 ③ 如果第i类的第n个子类和第m个子类相邻，则该段决策面方程是： 三、分段线性分类器设计的一般考虑 1 利用多类线性判别函数算法设计分段线性分类器 　 　　在已知样本的子类划分情况下，则可把子类看作独立的类，然后利用不同方法/算法把各个子类分开。 2 已知子类数目时的分段线性判别函数 　　　在已知子类数目，而不知子类划分情况下，有一种称为错误修正算法来设计分段线性分类器，其步骤如下： Step1：任意给定各子类的初始权向量。 　　　 设 类中有li个子类，则任意给定 Step2：利用训练样本集进行迭代，并按下列规则修改权向量。 若在第k次迭代时， 类中的样本Ｙj与 类的某个权向量 的內积值为最大。即 而且满足： ， 其中i=1,2,…,c； i≠j；l=1,2, …,li。 则说明权向量组 不影响Ｙi正确分类，则各权向量保持不变。 但如果存在某个或几个子类不满足上述条件，即存在 ， 使得： 则说明Ｙj被错误分类，这时需要对权向量进行修正。设 则修正算法为： Step3：重复第二