哈尔滨工业大学-模式识别课程-5．线性判别函数(II)2学时.pptVIP

* * 3.未知子类数目时的设计方法 当每类应分成的子类数也不知时，这是最一般情况，方法很多，举例如下。 树状分段线性分类器: 设两类情况ω1， ω2。如图所示 ①?先用两类线性判别函数求出W1,超平面H1分成两个区间,每个区间包含两类。 ②再利用二类分类求出W2(H2), W3(H3)。 ③?如果每个部分仍包含两类, 继续上面的过程。 【基于距离的分段线性判别函数】 * * 关键是初始权向量W1的选择:一般先选两类中距离最近的两个 子类的均值连线做垂直线作为H1(w1)初始值再求最优解。 w1Tx0 w4Tx≥0 w3Tx≥0 w2Tx≥0 Y N Y Y N N ω1 ω1 ω2 ω2 N Y ω1 树状决策框图 【基于距离的分段线性判别函数】 局部训练法的思想是类间的分界面必然处在两类样本的交界处，因此只需找出这些交界处的样本，然后对这些邻近的不同类样本,按需要确定分界面即可。 　 实际上决策面都处在不同类别样本分布的交界处或邻接处所在的区域内，如图中两类物体在特征空间分布中有若干处很接近或甚至有交迭。用这些区域中的样本来决定判别函数，就可以代替用整个样本集进行训练。基于这种思想的样本训练法称为“局部训练法”。 【基于距离的分段线性判别函数】 局部训练法 参加训练的局部样本集由两类样本组成。这些区域称之为“交遇区”，局部训练法就是基于交遇区内样本进行设计的。 要解决的几个问题是： (1)如何从样本集中找到“交遇区”； (2)如何利用“交遇区”中的样本设计线性分类器； (3)如何进行分类决策。下面就这些问题分别进行讨论。 。 【基于距离的分段线性判别函数】 局部训练法 提出寻找“交遇区”的一种方法，其实质是先在每类样本集内进行分片划分，所使用的方法是聚类方法， 划分的目的是使每类样本划分成小片后，找到处在本类样本占领区域边界上的小片原型。找到边界子集的方法是通过与另一类样本子集中找近邻的方法实现的。如果发现分属两类的两个原型互为最近邻，那么这两个原型就被认定为处在两类样本决策域的交界处， 【基于距离的分段线性判别函数】 算法步骤 步骤1：产生初始超平面 步骤2：初始决策面最佳化 步骤3：新决策面的产生与最佳化 【基于距离的分段线性判别函数】 在使用上述方法得到一组超平面作为分段线性分类器的分界面后，仅对交遇区的样本集进行性能检测有时不能发现存在的问题，需要使用全体样本对其进行性能检验，观察其能否对全体样本作出合理的划分。 【基于距离的分段线性判别函数】 非线性判别函数 * * 电位函数分类器,用非线性判别函数区分线性不可分的类别 电位函数分类器:每个特征作为一个点电荷,把特征空间作为能量场. 电位分布函数有下面三种形式。 α为系数 xk为某一特定点 上图是这些函数在一维时的图形，第三条是振荡曲线， 只有第一周期才是可用范围。 x K(x) x 3 2 1 【非线性判别函数】 * * 电位函数算法的训练过程是在逐个样本输入时，逐渐积 累电位的过程，对于二类问题，经过若干循环后，如积 累电位方程的运算结果能以正、负来区分二类样本，则 训练就可结束。 算法: 设初始电位为K0(x)=0 1.输入样本x1计算积累电位K1(x) 若x∈ω1 K1(x)= K0(x)+K(xx1) 若x∈ω2 K1(x)= K0(x)-K(xx1) 设ω1为正电荷,ω2为负电荷 在K0(x)=0时 若x1∈ω1 K1(x)= K(xx1) 若x1∈ω2 K1(x)= -K(xx1) 【非线性判别函数】 * * 2. 输入样本x2计算积累电荷有以下几种情况 a. 若x2∈ω1 并且K1(x2)0 若x2∈ω2 并且K1(x2)0 K1(x)= K2(x) 不修正 b. 若x2∈ω1 并且K1(x2)≤0 若x2∈ω2 并且K1(x2)≥0 K2(x)= K1(x)±K(xx2)= ±K1(xx1)±K(xx2) 修正 直到第k+1步,已输入x1, x2, ….xk个样本 【非线性判别函数】 * * 积累电荷Kk+1(x)有三种情况: 1.若xk+1∈ω1并且Kk(xk+1)0