模式识别课件(第五章NO)(非线性判别)摘要.pptVIP

* * * * 三、用局部训练样本产生分段线性判别函数 找出k-紧互对原型对集合后，则就可据此确定局部超平面，方法如下： Step1：在k-紧互对原型对集合中找出最近的一对 ，可选择 连线的垂直平分面作为初始化分界面H1’， H1’的方程为： Step2：以H1’作为初始超平面，找出H1’正确分类的紧互对原型对，用这些原型所代表的聚类中的所有样本作为局部训练样本集，并由此产生第一个超平面段H1*，如果用H1*正确分类的紧互对原型对与H1’正确分类的紧互对原型对相同，则H1*就是所求的第一段超平面H1；若不完全相同，再以H1*作为初始超平面，重复上述过程，直至得到H1。 Step3：将被H1正确分类的紧互对原型对除外，对剩下的紧互对原型对重复Step1和Step2，以得到新的超平面H2。 Step4：重复上述步骤，直至所有的紧互对原型对被处理完为止，则得到一组超平面H1，H2，…，Hm。 四、决策规则 假设分段线性判别函数是由m个超平面Hi(i=1,…,m)组成。 对于每个样本X，若设 则由m个超平面可以产生一个m维分量取{0，1}的向量Z(X). 对于原始的全部n个样本，可得到n个向量 ∵ m维二值向量，最多有2m种可能的选择。 ∴ 每个Z(Xk)（k=1,…,n）只能是2m种向量之一。 对于这2m种可能的向量，统计其在两类样本集?1和?2中出现的次数，并分别记为 对于待分样本Xj，当 都很小，则令 当 都很大且二者差别较小时，则令 不是上述两种情况时，则令 则得到决策规则为： * * * * * * * * * * * * * * * * * * * * * * * * * * * 第五章 非线性判别函数 5.1 分段线性判别函数的基本概念 特殊的非线性判别函数，其确定的决策面是由若干超平面段组成的。 它的基本组成仍是超平面，在超平面段较多时，能逼近各种形状的超曲面。 图5.1含线性判别函数、分段线性判别函数及二次判别函数。 一、基于与类心距离的分段线性判别函数 根据前述可知。当类条件概率密度函数为正态分布，各特征统计独立且方差相同时，Bayes决策规则具体为一个线性距离判别函数，特别是当 　 　时，决策规则为： 注：X到μ1的距离小于(或大于)X到μ2的距离时, μ为随机变量X的数学期望 决策面是两类期望（“中心点”）连线的垂直平分面。见图5.2，称最小距离分类器。 将均值（“重心”或“中心点”）作为各类的代表点，用距离作为判别函数进行分类。 但是在一些情况下，当类域是非单连通的或者一个类域有若干个模式相对密集的区域。此时，若仍用每一类只取一个点代表就不恰当了(因为这时若应用简单线性判别函数分类，则结果将会有很多错分。)，而应用那些样本较密集的子区的中心“联合”代表该类。 例如：图5.3，两类分布，　　　类都是多峰分布。 方法1：若把　　　 类的均值m1和m2作为代表类，得到分界面Ⅰ，则错分率较高。 方法2：如果每类取多个代表点， 如 类取两个代表点，m11，m12； 类取三个代表点，m21，m22，m23。 　则得到分段线性分界面Ⅱ(其中每一段都是最小距离分类器)。 总之：如果对于　类取li个代表点。也就是说，把属于　　类的样本区域Ri分为li个子区域，即 其中Ril表示第i类的第l个子区域，用mil表示该子区域中样本的均值向量，且以此作为该子区域的代表点。则可定义如下判别函数： 若有 则将X归到　 类。－－－－分段线形距离分类器 二、分段线性判别函数 1 引言：前述的以每类（或分为若干子区域）的均值向量作为代表点以设计最小距离分类器，在一些情况下不适用。 例如。图5.4。各类样本服从正态但非等协差分布，其概率密度面为超椭球面，以Bayes决策规则对样本Ｘ进行分类时 ，应为 类，但若以μi作为代表点，并按μi的欧式距离进行分类，则 类。 2 将每一类分为若干个子