模式识别课件第五章非线性判别.pptVIP

显然，中的紧互对原型对都位于两类样本的交遇区，所以用紧互对原型对集合表示交遇区是可行的。可将紧互对原型对的概念扩展。对于一类中的一个原型用类似的方法可找出另一类原型中的最近的k个原型，产生的结果称为k-紧互对原型对集合，记为。第30页，共32页，星期日，2025年，2月5日三、用局部训练样本产生分段线性判别函数找出k-紧互对原型对集合后，则就可据此确定局部超平面，方法如下：Step1：在k-紧互对原型对集合中找出最近的一对，可选择连线的垂直平分面作为初始化分界面H1’，H1’的方程为：第31页，共32页，星期日，2025年，2月5日Step2：以H1’作为初始超平面，找出H1’正确分类的紧互对原型对，用这些原型所代表的聚类中的所有样本作为局部训练样本集，并由此产生第一个超平面段H1*，如果用H1*正确分类的紧互对原型对与H1’正确分类的紧互对原型对相同，则H1*就是所求的第一段超平面H1；若不完全相同，再以H1*作为初始超平面，重复上述过程，直至得到H1。Step3：将被H1正确分类的紧互对原型对除外，对剩下的紧互对原型对重复Step1和Step2，以得到新的超平面H2。Step4：重复上述步骤，直至所有的紧互对原型对被处理完为止，则得到一组超平面H1，H2，…，Hm。第32页，共32页，星期日，2025年，2月5日*******************第1页，共32页，星期日，2025年，2月5日第2页，共32页，星期日，2025年，2月5日一、基于与类心距离的分段线性判别函数根据前述可知。当类条件概率密度函数为正态分布，各特征统计独立且方差相同时，Bayes决策规则具体为一个线性距离判别函数，特别是当时，决策规则为：注：X到μ1的距离小于(或大于)X到μ2的距离时,μ为随机变量X的数学期望第3页，共32页，星期日，2025年，2月5日决策面是两类期望（“中心点”）连线的垂直平分面。见图5.2，称最小距离分类器。将均值（“重心”或“中心点”）作为各类的代表点，用距离作为判别函数进行分类。第4页，共32页，星期日，2025年，2月5日但是在一些情况下，当类域是非单连通的或者一个类域有若干个模式相对密集的区域。此时，若仍用每一类只取一个点代表就不恰当了(因为这时若应用简单线性判别函数分类，则结果将会有很多错分。)，而应用那些样本较密集的子区的中心“联合”代表该类。例如：图5.3，两类分布，类都是多峰分布。方法1：若把类的均值m1和m2作为代表类，得到分界面Ⅰ，则错分率较高。方法2：如果每类取多个代表点，如类取两个代表点，m11，m12；类取三个代表点，m21，m22，m23。则得到分段线性分界面Ⅱ(其中每一段都是最小距离分类器)。第5页，共32页，星期日，2025年，2月5日总之：如果对于类取li个代表点。也就是说，把属于类的样本区域Ri分为li个子区域，即其中Ril表示第i类的第l个子区域，用mil表示该子区域中样本的均值向量，且以此作为该子区域的代表点。则可定义如下判别函数：若有则将X归到类。－－－－分段线形距离分类器第6页，共32页，星期日，2025年，2月5日二、分段线性判别函数1引言：前述的以每类（或分为若干子区域）的均值向量作为代表点以设计最小距离分类器，在一些情况下不适用。例如。图5.4。各类样本服从正态但非等协差分布，其概率密度面为超椭球面，以Bayes决策规则对样本Ｘ进行分类时，应为类，但若以μi作为代表点，并按μi的欧式距离进行分类，则类。第7页，共32页，星期日，2025年，2月5日2将每一类分为若干个子类，即令然后，对每一个子类定义一个线性判别函数，式中分别称为对子类的权向量和阈值权。如果定义类的线性判别函数为：则对于c类问题，可以定义c个判别函数gi(Ｘ)(i=1,….,c)，并得到决策规则，即：第8页，共32页，星期日，2025年，2月5日说明：①先找到具有最大判别函数值的子类（设为gin(Ｘ)），则把样本Ｘ归到子类所属的类，即