模式识别理论及应用近邻法参考.pptVIP

模式识别理论及应用Pattern Recognition - Methods and Application 第五章 近邻法 内容目录 5.0 引言 最小距离分类器: 它将各类训练样本划分成若干子类，并在每个子类中确定代表点。测试样本的类别则以其与这些代表点距离最近作决策。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。 近邻法: 最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。 最初的近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。 5.1 最近邻法 最近邻法：nearest neighborhood classifier (nnc)，将与测试样本最近邻样本的类别作为决策的结果。 对一个C类别问题，每类有Ni个样本，i＝1，…，C，则第i类ωi的判别函数为： 最近邻法错误率分析 最近邻法的错误率高于贝叶斯错误率，可以证明以下关系式成立： 5.2 k-近邻法 k-近邻法: 最近邻法的扩展，其基本规则是，在所有N个样本中找到与测试样本的k个最近邻者，其中各类别所占个数表示成ki, i＝1，…，c。定义判别函数为： gi(x)=ki, i=1, 2,…,c。 k-近邻法错误率分析 在N→∞的条件下，k-近邻法的错误率要