模式识别导论本(三)选编.ppt

线性判别函数与广义线性判别函数 广义线性判别函数的二分能力 感知器算法 最小平方误差算法 多类模式的分类器迭代算法 势函数法简介 ;假设对一模式X已抽取n个特征，表示为： 模式识别问题就是根据模式X的n个特征来判别模式属于ω1 ,ω2 , … , ωm 类中的那一类。 由于特征向量对应于特征空间中的一个点，同类点聚集在一起，因此可以将特征空间分成若干个区域。;例如下图：三类的分类问题，它们的边界线就是一个判别函数。如果该函数为线性函数，则线性可分;判别函数包含两类： 一类 是线性判别函数： 线性判别函数 广义线性判别函数（所谓广义线性判别函数就是把非线性判别函数映射到另外一个空间变成线性判别函数） 分段线性判别函数 另一类是非线性判别函数;我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数: ;在两类别情况，判别函数 g (x) 具有以下性质： 这是二维情况下判别由判别边界分类. 情况如图： ;2. n维情况;模式分类： 当 g1(x) =WTX=0 为判别边界 。当n=2时，二维情况的判别边界为一直线。当n=3时，判别边界为一平面，n3时，则判别边界为一超平面。 ;(二) 多类问题;判别界面 将特征空间分划成两个子空间，其中一个包含 ，另一个不包含 ，同样， 也将特征空间分成两个子空间，其中一个包含 另一个不包含。由这两个界面分划的分别包含i和j类的子区域可能有部分重叠，落在重叠区的点不能由这两个判别函数决定 使用这类判别函数，可能会出现两个或两个以上的判别式都大于零或者所有判别式都小于零的情况。出现在这些区域中的点，不能有判别式判别属于哪一类。 gi(x)0只说明x是在包含i类的半空间中，而这个半空间可能还有其他类别存在;如图所示，每一类别可用单个判别边界与其它类别相分开 。 如果一模式X属于ω1，则由图可清楚看出:这时g1(x) 0而g2(x) 0 ， g3(x) 0 。 ω1 类与其它类之间的边界由 g1(x)=0确定. ;例：已知三类ω1,ω2,ω3???判别函数分别为：;作图如下： ;问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2类;这样 有 M(M _ 1)/2个判别平面。 对于两类问题，M=2，则有一个判别平面。 同理，三类问题则有三个判别平面。;但是判别函数的正负不能做出x属于i类还是j类，只能做出x是位于含有i类的半空间中还是位于j类的半空间中，因在某个半空间中可能还有其他类别的存在。因此这种方法的决策规则是; 假设判别函数为： ;问:未知模式X=(x1,x2)T=(4,3)T属于那一类;广义线性判别函数;例：如右图。;要用二次判别函数才可把二类分开：;从图可以看出：在阴影上面是ω1类，在阴影下面是ω2类， 结论：在X空间的非线性判别函数通过变换到Y空间成为线性的，但X变为高维空间;一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为N的样本集，线性可分的概率多大呢？（如下图（a），线性不可分） 例：4个样本有几种分法。 图（b）①直线把x1分开，每条直线可把4个样本分成ω1 ω2 类，4个样本分成二类的总的可能的分法为24=16类，其中有二种是不能用线性分类实现的线性可分的是14。即概率为14/16。;结论：N个样品线性可分数目(条件：样本分布良好）：;;把上式用曲线表示成下图：图中横坐标用λ=N/n+1表示。由图讨论：;结论：在实际工作中，分类的训练非常重要，由已知样本来训练。因为已知样本有限，而未知样本无限。选择已知类别的训练样本数方法如下：;①：如果训练样本N N0，设计分类器的分类能力太差，因为训练样本太少。 ②：如果训练样本N太多时，则样本太多，运算量、存储量太大。 ③：因此实际工作中应该取： ;感知器算法 所谓确定性分类器，是指那些用以进行分类的线性（或广义线性）判别函数，它们不需要考虑模式集的统计性质。要得到这些判别函数，主要是确定它们的系数，而模式样本集的选取则为解算这些系数提供了基础。通过样本集解求系数的过程称为计算机“学习”的过程，或“训练”的过程 “感知器”一词借用于二十世纪五十年代中期到六十年代初期人们对一种分类学习机模型的称呼，它是针对仿生学领域中如何实现机器学习、模仿的问题而发展起来的，它的一些数学概念后来在模式识别中起了很大的作用 ;基于赏—罚概念的感知器训练算法