《模式识别原理与应用》课件第4章.ppt

在实际中,往往不能预先知道各类是否能用分段线性判决函数完全分开,因此,规定迭代时限或迭代次数来结束迭代。特殊情况下,若在达到迭代时限或迭代次数之前已经使所有y正确分类,则说明样本集对于给定的子类数目,能够用分段线性判别函数完全正确分类。3.子类数目未知在实际中往往只有一组已知类别的样本集,而并不知道子类数目及其子类划分情况,这是最普遍的一种情形,可以有多种方法设计分段线性分类器,这里仅介绍树状分段线性分类器设计方法。对于两类非线性可分的情形,可以先确定一个超平面H1,其增广权向量为v1,H1把整个样本集分成两部分。由于两类非线性可分,因此,H1的两侧均包含有来自两类的样本。在H1的左、右半空间内,分别确定一个超平面H2、H3,把半空间内的两类样本分开,相应的增广权向量分别为v2、v3,如图4-19所示。图4-19树状线性分类器示例重复上述过程,直至超平面把两类样本完全分开。由于样本集合是有限的,因此,该划分过程总可以在有限步内停止。由树状分段线性分类器的设计过程可知,在样本集合确定的条件下,设计的关键在于对于一个特定的样本子集,找到一个将其分成两部分的超平面。寻找超平面的方法不同,最终的分类决策面也不同。4.4近邻分类器由前面的讨论可知,将均值作为代表点时,最小距离分类器的实质就是将样本判属于与代表点距离最近的类。近邻法最初是由Cover和Hart于1968年提出的,它的基本特点是将样本集中的任何一个样本都作为代表点,它实质上是一种分段线性分类器。4.4.1最近邻法最近邻法的主要特点就是将样本判属它的最近邻(和它距离最近的代表点)所在的类。假定有m个类别ω1,ω2,…,ωm的模式识别问题,每类有Ni(i=1,2,…,m)个样本,规定类ωi的判别函数为(4-102)其中,xki表示第i类的第k个元素。判决准则:若，则x∈ωj(4-103)称这种决策方法为最近邻法,相应的分类器称为最近邻分类器。最近邻法是一种次优方法,虽然它的错误概率比最小错误概率判决准则的错误概率要大,但是当样本数目无限时,它的错误概率不会超过后者的错误概率的一倍。假设近邻分类器的渐近平均错误概率为P∞,最小错误概率判决准则的错误概率为P*e,那么它们之间存在如下关系:(4-104)其中m为类别数,P∞定义为(4-105)PN(e)是当样本数为N时近邻分类器的平均错误概率。图4-20为式(4-104)的关系示意图,图中曲线与直线分别是近邻法分类器当N→∞时渐近平均错误概率的上、下界,具体的P∞落在图中阴影区内。图4-20P∞的上、下界4.4.2k近邻法最近邻分类器的判决思想是将样本判属与它距离最小的样本所属的类,这种方法的特点是概念容易理解,最近邻样本和待分类样本在距离意义下是最相似的。其缺点在于受随机噪声影响较大,尤其是在两类的交叠区内。图4-21中示出了两类样本点分布情况,有两个待识别样本,其中点1落在第一类较密集的区域内,它属于第一类的可能性较大,但点1的最近邻为第二类的样本,而该样本对于第二类的区域而言属于因较大的随机误差引起的样本。同理,点2落在第二类较密集的区域内,它属于第二类的可能性较大,但点2的最近邻为第一类的样本,而该样本对于第一类的区域而言属于因较大的随机误差引起的样本。为了解决这个问题,可以考虑利用待分类样本所在区域的样本分布情况,k近邻法正符合这种思想。图4-21随机噪声对最近邻分类结果的影响对于待分类样本x,在N个样本集中找出它的k个近邻,设k个样本中属于第i类的为ki个(i=1,2,…,m),即(4-106)定义判别函数:(4-107)判决准则为若，则x∈ωj称这种方法为k近邻法,相应的分类器称为k近邻分类器。对于图4-21中的样本点,若按8近邻方法判决(参见图4-22),则点1的8近邻中,k1=6,k2=2,所以应判属第一类。点2的8近邻中,k1=2,k2=6,所以应判属第二类。k－近邻分类器的渐近平均错误概率也满足:(4-108)其中,P*e为最小错误概率的贝叶斯分类器的错误概率。图4-228-近邻示意图习题4-1证明:当P(ωi|x)为等概率分布时,有4-2指出x在超平面上的投影是4-3对于线性判决函数:(1)将判