模式识别课件(总顺序No6)(第三章NO1)(张凤)(071030)(线性判别函数).pptVIP

第三章　线性判别函数 3.1　引言 (1) 问题： 第二章所述的分类器设计方法是在已知类条件概率密度p(X|Wi)和先验概率p(Wi)，再利用Bayes公式将其转化成后验概率。然后依据不同规则进行分类－－相对最优。 但实际中，p(X|Wi)很难确定，而Parzen窗等估计方法有需大量样本，且随着特征空间Ω维数的增加所需样本数急增，导致计算量增加，存储量增加。 (2) 应对与局限性： 因此，提出了利用样本集直接设计分类器。 这种方法是：若能找到一个分离函数，特别若是不依赖于条件分布密度的，且呈线性或非线性的分离函数。它可理解为通过几何的方法，将Ω分解为对应于不同类别的子空间。 这种方法所能处理的只是确定可分(线性/非线性可分)的问题，当样本集聚的空间发生重叠现象时，寻找分离函数的迭代过程将加长，甚至振荡。这就是这种方法的局限性。另外，相对Bayes方法该方法得到的是“次优解”。 (3) 这种方法的基本思想是： 　如果根据以往大量的观察： ① 知道模式类别的分布； ② 能找出d维空间(Ω)中模式类之间的分界。 这就能解决模式的分类问题。 这实际上是运用已知类别的训练样本进行学习的过程。通过学习产生若干个代数界面g(X)=0，这个表示界面的函数g(X)称为判别函数。 (4) 这种方法的处理思路是： 分类 　特征空