第5章近邻法.pptVIP

第1章 绪论 第5章 近邻法 5.1　最近邻法 5.2　k—近邻法 5.3 剪辑近邻法 5.4　可做拒绝决策的近邻法 前面我们介绍了Bayes方法和概率密度函数的估计。可以看出，Bayes方法的应用受到很大限制。事实上，非参数模式识别方法更为实用。由于能解决许多实际的模式识别问题，虽然在许多情况下它们不是最优的，但却是应用的最多的有效的方法。统计模式识别中常用的基本非参数方法除了前面介绍的线性判别函数外，还有本章将要介绍的近邻法和集群。近邻法属于有监督学习，集群属于无监督学习。近邻法是由Cover和Hart于1968年提出来的。 它是在已知模式类别的训练样本的条件下，绕开概率的估计，按最近距离原则对待识别模式直接进行分类。 5.1 最近邻法 5.2 k—近邻法 5.3 剪辑近邻法 5.4 可做拒绝决策的近邻法 THANK YOU VERY MUCH ！ 本章到此结束 下一章“特征选择和特征提取” 返回本章首页 第M次剪辑后， 的最近邻样本属于 的概率为 返回本章首页 返回本章首页 在运用k—近邻法时，为克服k个近邻元属于不同类别的样本数的偶然性，采用的方法之一是增大k ，然而这仍然不能完全消除k个近邻元类别的偶然性。我们说若k个近邻元中某一类的样本数占很大的优势，则误判的可能性就较小；如果是微弱优势，则作出判别决策，误判的可能性就很大。进一步，在某些实际问题中误判的风险很大的话，则会付出很大的代价，因此在这种情况下引入拒绝决策就很有必要了，一般记为 类。 下面我们结合前面讲述的k—近邻法和剪辑近邻法进行分析。 返回本章首页 1 具有拒绝决策的k—近邻法 对于两类问题，引入了拒绝决策k—近邻法的思想是，根据可信性要求选定一个 值，应使 ，如果待识别模式 的k个近邻中有大于或等于 个样本属于某一类 ,则判 ，否则拒绝作出类别决策。 的k个近邻元至少有 个来自 类的渐近概率为 返回本章首页 当 的 个近邻中有少于 个属于同一类时，则考虑拒绝，这时的概率为 第5章 近邻法 返回本章首页 返回本章首页 最近邻决策规则 给定c 个类别 ，每类有标明类别的样本 个，近邻法的判别函数为 决策法则为 直观的说，就是对待识别的模式向量 ，只要比较 与所有已知类别的样本之间的欧式距离，并决策 与离它最近的样本同类。 返回本章首页 返回本章首页 下面我们先定性的比较一下最近邻分类法与最小错误率的Bayes分类方法的分类能力。 我们把 的最近邻 的类别看成是一个随机变量 ， 的概率为后验概率 最近邻法则可以看成是一个随机化决策 ——按照概率 来决定 的类别。 定义： 返回本章首页 按最小错误率的Bayes决策法则：以概率1决策 ； 按最近邻决策法则：以概率 决策 ； 这里假设在三类问题中， 的后验概率分别为 按最小错误率的Bayes决策法则：以概率1决策 ； 按最近邻决策法则：以概率 决策 ；以概率 决策 。 当 时，最近邻法的决策结果与最小错误率的Bayes决策的决策结果相同，它们的错误率都是比较小的，两种方法同样的好，当 ，两者的错误概率接近于 ，两种方法同样的坏。下面我们将进一步分析近邻法的错误率。 返回本章首页 最近邻法的错误率分析 在前面我们曾给出平均错误率的 在最小错误率的Bayes决策中，决策使条件错误率 尽可能小，从而平均错误率 也一定最小。这里，设 采用N个样本的最近邻法的平均错误率 ，并设 返回本章首页 则有以下的不等式成立： 证明：最近邻法属于随机化决策，待分类模式 的近邻随样本集的变化而随机变化，设其最近邻为 ，错误的条件错误率为 。对于 取平均 返回本章首页 返回本章首页 下面我们看一下上面的两个表达式。 设对于给定的 ，概率密度是连续的且不为零。那么，任何样本落入以 为中心的一个超球 S 中的概率为 N个独立的样本落在 S