模式识别-6案例.pptVIP

第6章 近邻法6.3.1 近邻法的快速算法 用树结构表示样本分级: p: 树中的一个结点，对应一个样本子集Kp Np : Kp中的样本数 Mp : Kp中的样本均值 rp : 从Kp中任一样本到Mp的最大距离 通过聚类算法构建 * 第6章 近邻法6.3.1 近邻法的快速算法 快速搜索算法 要实现快速搜索近邻，需要有方法快速判断某个样本子集是否是该待识样本的可能近邻样本集，从而可将无关的样本子集尽快排除。另一方面在某样本子集内寻找哪个样本是近邻时，需要快速排除不可能为近邻的样本。 这两个快速判别算法可用以下两个规则表示。 * 第6章 近邻法6.3.1 近邻法的快速算法 搜索中减少计算量的规则： 规则1：如果满足：则Kp中的样本都不可能是x的最近邻。B是算法执行中当前到x的最近距离，在搜索过程中不断改变与缩小。开始时，可将B设为无穷大。D(X,Mp)表示待识样本X到结点p的均值点距离。 * 第6章 近邻法6.3.1 近邻法的快速算法 搜索中减少计算量的规则： 规则2：如果满足：  其中xi∈Kp，是则xi不是x的最近邻。 由此可见，只要将每个样本子集Kp中的每个样本xi到其均值的Mp距离D(xi, Mp)存入存储器中，就可利用上式将许多不可能成为测试样本近邻的训练样本排除。 * 第6章 近邻法6.3.1 近邻法的快速算法 搜索算法的大体过程： 当搜索树形样本集结构由高层次向低层次深入时，对同一层次的所有结点，可以利用规则1排除掉一些不可能包含待识别样本的近邻的结点（样本子集）。但是这往往不能做到只留下唯一的待搜索结点，因此必须选择其中某一结点先深入搜索，以类似于深度优先的方法确定搜索路径直至叶结点。然而在该叶结点中找到的近邻并不能保证确实是全样本集中的最近邻者，所找到的该近邻样本需要在那些有可能包含最近邻的样本子集中核对与修正，直至找到真正的最近邻样本为止。 * 第6章 近邻法6.3.1 近邻法的快速算法 树搜索算法 置B=∞，L=0，p=0（L是当前水平，p是当前结点） 将当前结点的所有直接后继结点放入一个目录表中，并对这些结点计算D(x,Mp) 根据规则1从目录表中去掉step2中的某些结点 如果目录表已无结点则置L=L-1，如果L=0则停止，否则转Step3。如果目录表有一个以上的结点，则转step5 在目录表中选出最近结点p’为当前执行结点。如果当前的水平L是最终水平，则转Step6，否则置L=L+1，转Step2 对当前执行结点p’中的每个xi，根据规则2决定是否计算D(x, xi)。若D(x, xi)B，则置NN=i和B= D(x, xi)，处理完当前执行结点中的每个xi后转Step3 * 第6章 近邻法6.3.1 近邻法的快速算法 树搜索算法 置B=∞，L=0，p=0（L是当前水平，p是当前结点） 将当前结点的所有直接后继结点放入一个目录表中，并对这些结点计算D(x,Mp) 根据规则1从目录表中去掉step2中的某些结点 如果目录表已无结点则置L=L-1，如果L=0则停止，否则转Step3。如果目录表有一个以上的结点，则转step5 在目录表中选出最近结点p’为当前执行结点。如果当前的水平L是最终水平，则转Step6，否则置L=L+1，转Step2 对当前执行结点p’中的每个xi，根据规则2决定是否计算D(x, xi)。若D(x, xi)B，则置NN=i和B= D(x, xi)，处理完当前执行结点中的每个xi后转Step3 当算法结束时，输出x的最近邻xNN和x与xNN的距离B * 第6章 近邻法6.3.1 近邻法的快速算法 分级数目（水平数）与最终结点对应样本数目之间的关系。 可扩展到k-近邻法 作业：画出k-近邻法的快速搜索算法的流程图 * 第6章 近邻法6.3.1 近邻法的快速算法 只是研究如何减少计算量的问题，而不考虑存储量的压缩。实际上由于对样本进行分层次分组，并附有一些参数，实际的存储量还有可能增加。 * 第6章 近邻法6.3.2 剪辑近邻法 目的：去掉靠近两类中心的样本？ 基本思想：当不同类别的样本在分布上有交迭部分的，分类的错误率主要来自于交迭区中的样本。当我们得到一个作为识别用的参考样本集时，由于不同类别交叠区域中不同类别的样本彼此穿插，导致用近邻法分类出错。因此如果能利用现有样本集对其自身进行剪辑，将不同类别交界处的样本以适当方式筛选，可以实现既减少样本数又提高正确识别率的双重目的。 * 第6章 近邻法6.3.2 剪辑近邻法 基本步骤： 1. 剪辑：利用已知样本集中的样本进行预分类，并剪辑掉被错分的样本，留下的样本构成剪辑样本集。 2. 分类：利用剪辑样本集和近邻规则对未知样本进行分类。 * 第6章 近邻法6.3.2 剪辑近邻法 * 第6章 近邻法6.