第6章_近邻法.pptVIP

Bayes方法需要借助概率密度函数估计。可以看出，其应用受到很大限制。事实上，非参数模式识别方法更为实用。由于能解决许多实际的模式识别问题，虽然在许多情况下它们不是最优的，但却是应用的最多最有效的方法。统计模式识别中常用的基本非参数方法除了前面介绍的线性判别函数外，还有将要介绍的近邻法和聚类。近邻法属于有监督学习，聚类属于无监督学习。它是在已知模式类别的训练样本的条件下，绕开概率的估计，按最近距离原则对待识别模式直接进行分类。 第6章 近邻法 在分段线性判别函数的讨论中，利用每一类的“代表点”设计分段线性分类器。 优点是简单而直观 缺点是所选“代表点”不一定很好地代表各个类，其后果是使所设计分类器的错误率增加。 本章讨论一种分段线性判别函数的极端情况，就是将各类中的全部样本都作为“代表点”的情况。这时的决策方法称为近邻法。 近邻法由Cover和Hart于1968年提出 6.1 最近邻法 6.2 k-近邻法 6.3 关于减少近邻法计算量和存储量的考虑 6.4 可做拒绝决策的近邻法 6.5 最佳距离度量最近邻法 近邻法 最近邻分类器(nearest neighborhood classifier, nnc): 最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策类。 最初的近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。 6.1 最近邻法 6.1.1 最近邻决策规则 6.1.2 最近邻法的错误率分析 6.1.1 最近邻决策规则 直观解释 最近邻方法 (1) N个已知类别样本X (2)输入未知类别样本x (3)计算x到xi?X，(i=1, 2,…,N)的距离di(x) (4)找出最小距离dm(x)=min{di(x)} (5) 判x?ωm 6.1.2 最近邻法的错误率分析 可以证明，当样本数相当多时，近邻法错误率与贝叶斯错误率存在以下关系： 上式表明，当样本数相当多时，近邻法的错误率在贝叶斯错误率和两倍的贝叶斯错误率之间。 最近邻法错误率上下界与贝叶斯错误率的关系 近邻法的错误率 6.2 k-近邻法 取未知样本的k个近邻，看这k个近邻中哪类的样本数最多，就把未知样本归到该类。 k-近邻法的基本规则 K近邻法 (1)已知N个已知类别样本X (2)输入未知类别样本x (6) 判x?ω2 (4)找出x的k个最近邻元Xk={xi,i=1,2,…,k} (5)看Xk中属于哪一类的样本最多k1=3k2=4 (3)计算x到xi?X，(i=1, 2,…,N)的距离di(x) k-近邻法的错误率界 讨论k为奇数时的两类问题 近邻法存在的问题 6.3 查找k近邻的快速算法（树搜索） 近邻法存在的问题 存储量大；计算量大，要计算大量的样本间的距离 为了减少查找k-近邻的计算量，需要尽量避免穷尽地计算所有样本间的距离，可把训练样本组织（分解）成一定的等级如树结构等，尽量排除一些不必要的计算。 根据三角不等式： 规则1 当规则1不满足时，对于终端节点 ，可以利用下面的规则2迅速检验它能否成为 的最近邻，省去计算所有的 。 利用规则1或2，可以剔除不可能是 最近邻的子集或点 利用上面两个规则，可以设计适当的树搜索算法。 树搜索算法 *