模式识别导论三.ppt

§3-2分段线形分类器的设计先求子类的权向量Wil，再求总的权向量Wi1.已知子类划分时的设计方法把每一个子类作为独立类，利用每个子类的训练样本，求每个子类的线性判别函数，总的判别函数就可获得。子类的划分可用以下方法：①?用先验知识直接划分②??用聚类分析，聚成多个子类2.?已知子类的数目的设计方法①设各个子类的初始权向量：Wi1,Wi2…Wilii=1,2,…MWi中有Li个子类②若第K步迭代时ωj类样本Xj同ωj类某个子类的权向量Wjn(k)的内积值最大，即Wjn(k)lxj=max{Wjn(k)lxj}n=1,2,…lj第37页,共48页，星期六，2024年，5月并且满足条件Wjn(k)xjWin(k)lxji=1,2,…M类j=1,2,…li子类i≠j则权向量Wi1(k)，Wi2(k)，…,Wili(k)不影响分类，所以权向量不需要修正。若有某个或某几个子类不满足条件即：存在Win(k)使Wjn(k)xj≤Win(k)lxji≠j所以xj错分类，要修改权向量。设Win(k)lxj=max{Win(k)lxj}n=1,2,…lii≠j则修改权向量Wjn(k+1)=Wjn(k)±ρkxj③重复以上迭代,直到收敛,此法类似于固定增量法.第38页,共48页，星期六，2024年，5月3.未知子类数目时的设计方法当每类应分成的子类数也不知时，这是最一般情况，方法很多，举例如下。树状分段线性分类器:设两类情况ω1，ω2。如图所示①?先用两类线性判别函数求出W1,超平面H1分成两个区间,每个区间包含两类。②再利用二类分类求出W2(H2),W3(H3)。③?如果每个部分仍包含两类,继续上面的过程。第39页,共48页，星期六，2024年，5月关键是初始权向量W1的选择:一般先选两类中距离最近的两个子类的均值连线做垂直线作为H1(w1)初始值再求最优解。w1Tx0w4Tx≥0w3Tx≥0w2Tx≥0YNYYNNω1ω1ω2ω2NYω1树状决策框图第40页,共48页，星期六，2024年，5月§3-3非线性分类器的设计电位函数分类器,用非线性判别函数区分线性不可分的类别电位函数分类器:每个特征作为一个点电荷,把特征空间作为能量场.电位分布函数有下面三种形式。α为系数xk为某一特定点上图是这些函数在一维时的图形，第三条是振荡曲线，只有第一周期才是可用范围。xK(x)x321第41页,共48页，星期六，2024年，5月电位函数算法的训练过程是在逐个样本输入时，逐渐积累电位的过程，对于二类问题，经过若干循环后，如积累电位方程的运算结果能以正、负来区分二类样本，则训练就可结束。算法:设初始电位为K0(x)=01.输入样本x1计算积累电位K1(x)若x∈ω1K1(x)=K0(x)+K(xx1)若x∈ω2K1(x)=K0(x)-K(xx1)设ω1为正电荷,ω2为负电荷在K0(x)=0时若x1∈ω1K1(x)=K(xx1)若x1∈ω2K1(x)=-K(xx1)第42页,共48页，星期六，2024年，5月2.输入样本x2计算积累电荷有以下几种情况a.若x2∈ω1并且K1(x2)0若x2∈ω2并且K1(x2)0K1(x)=K2(x)不修正b.若x2∈ω1并且K1(x2)≤0若x2∈ω2并且K1(x2)≥0K2(x)=K1(x)±K(xx2)=±K1(xx1)±K(xx2)修正直到第k+1步,已输入x1,x2,….xk个样本第