模式识别第四章4非线性判别函数.pptVIP

(a) R1 R2 R3 H1 H2 ⑷对R2中的样本重复上面算法，可得到第三个超平面段H3。 最终的分段线性分类器由三个超平面H1、H2和H3相应的部分组成，如图4.13(b)中实线所示，在两维空间表现为一折线段。 (b) H1 H2 H3 4.4 二次判别函数 二次判别函数也是一种常用的非线性判别函数，其适用范围比简单的线性判别函数广。 但二次判别函数及其确定的分界面比较复杂，故只简单介绍一下它的基本概念。 二次判别函数的一般表达式为 其中W是d×d实对称矩阵，w为d维向量。为确定判别函数g(x)，需要确定 二次判别函数确定的决策面是一个超二次曲面，包括超球面、超椭球面、超双曲面等。 例如对于一类(设ω1类)样本分布比较成团，而另一类样本均匀地散布在其周围的两类问题，可用下述方法构造一个二次判别函数： 个不同的系数。因此，计算起来非常复杂。 ⑵定义二次判别函数 ⑴计算ω1类样本均值 和样本协方差 决策规则表示为 g(x) = 0在X空间确定了一个超椭球面。 它的大小由K来控制，K越大，则落入超椭球外面的第一类样本点越少，因此第一类错分为第二类的概率越小，但第二类误为第一类的概率将增大。 如果两类样本分布各自都比较集中，则可以分别定义两类的判别函数为 其中 Ni为ωi类的样本数， 若定义 g(x)=g1(x)－g2(x) 则决策面方程为 选择适当的K1和K2则可调整两类的错误率。 实际上，如果两类样本都来自正态分布，且对样本均值向量和样本协方差矩阵的估计 和 接近真实分布的期望和协方差矩阵mi和∑i，则上述二次判别函数确定的分类器错误率和贝叶斯分类器错误率很接近。 Ki的作用则反映了∑i和先验概率P(ωi)对决策面的影响。因此可以推知，这种分类器的效果将是比较好的。 由上式定义的二次判别函数与第二章(2-112)式xT(Wi－Wj)x+(wi－wj)Tx+wi0－wj0=0十分相似。 * 从图中不难看出，分段线性判别函数比一般的线性判别函数错误率要小，又比一般的非线性判别函数简单。 * 下面分几种不同的情况来讨论这个问题。 而对于任意x∈ω2，因为所有的Pi≤0，i = 1，2，3,因而P≤0。 对于未知的样本x，如果某个Pi 0，则x∈ωi1，因而x∈ω1。如果Pi≤0，i =1，2，3，x∈ω2。 例4.1设有两个未知样本x1和x2，其分段线性判别函数的值分别为 x1: L11=8 L12=4 L13=6 L14=10 L15=17 L21=9 L22=15 L23=17 L24=－3 L31=－8 L32=－7 L33=9 L34=－25 x2: L11=26 L12=－50 L13=25 L14=80 L15=73 L21=18 L22=－4 L23=－96 L24=14 L31=17 L32=－6 L33=－1 L34=8 ∵ P = max{min(L11，L12，L13，L14，L15) min(L21，L22，L23，L24) min(L31，L32，L33，L34) ∴Px1=max{min(8,4,6,10,17), min(9,15,17,－3), min(－8,－7,9,－25)} =max{4,－3,－25} = 4 0 决策x1∈ω1 Px2 = max{min(26,－50,25,80,73), min(18,－4,－9,14), min(17,－6,－1,8) =max{－50,－9,－6}=－6 0 决策x2∈ω2 有了分段线性判别函数的定义，如何利用样本集，求出r个权向量 ， ，…， 使之满足。 4.2.2算法步骤 令X1和X2分别表示来自ω1和ω2类的样本集。 要找出若干个分段线性判别函数Pi组成的分段线性分类器，有效地对ω1和ω2进行分类。 假设用线性判别函数 ，i=1，2，…，r 找出 ， ，…， 的迭代算法如下： ⑴检验k是否为0，并选择Ai1(k)和Ai2(k)。 若k=0，则令Ai1(0)，Ai2(0)，i=1，2，…，r分别是从X1和X2中任意选出的第一类和第二类样本的非空子集。 步骤1任意给定初始权向量 a1