模式识别理论及应用近邻法PPT.pptVIP

* 第五章 近邻法 模式识别理论及应用Pattern Recognition - Methods and Application 内容目录 第五章 近邻法 5.0 引言 2 1 3 4 5.1 最近邻法 5.2 k-近邻法 5.3 改进的近邻法 5.4 讨论 5 模式识别与神经网络 第五章 近邻法 5.0 引言 最小距离分类器: 它将各类训练样本划分成若干子类，并在每个子类中确定代表点。测试样本的类别则以其与这些代表点距离最近作决策。该方法的缺点是所选择的代表点并不一定能很好地代表各类，其后果将使错误率增加。 近邻法: 最小距离分类器的一种极端的情况，以全部训练样本作为代表点，计算测试样本与所有样本的距离，并以最近邻者的类别作为决策。 最初的近邻法是由Cover和Hart于1968年提出的，随后得到理论上深入的分析与研究，是非参数法中最重要的方法之一。 第五章 近邻法 5.1 最近邻法 最近邻法：nearest neighborhood classifier (nnc)，将与测试样本最近邻样本的类别作为决策的结果。 对一个C类别问题，每类有Ni个样本，i＝1，…，C，则第i类ωi的判别函数为： 决策规则： 最近邻法在原理上最直观，方法上也十分简单，明显的缺点就是计算量大，存储量大。 ‖·‖表示某种距离（相似性）度量，常用欧氏距离作为相似性度量。 第五章 近邻法 最近邻法错误率分析 最近邻法的错误率高于贝叶斯错误率，可以证明以下关系式成立： 由于一般情况下P*很小，因此又可粗略表示成： 可粗略说最近邻法的渐近平均错误率在贝叶斯错误率的两倍之内 NNC 第五章 近邻法 5.3 改进的近邻法 近邻法的一个严重不足与问题是需要存储全部训练样本，以及繁重的距离计算量。 两类改进的方法： 一种是对样本集进行组织与整理，分群分层，尽可能将计算压缩到在接近测试样本邻域的小范围内，避免盲目地与训练样本集中每个样本进行距离计算。 另一种则是在原有样本集中挑选出对分类计算有效的样本，使样本总数合理地减少，以同时达到既减少计算量，又减少存储量的双重效果。 第五章 近邻法 快速搜索近邻法 快速搜索近邻法，包括两个阶段： 样本集的分级分解 搜索 其基本思想是将样本集按邻近关系分解成组，给出每组的质心所在，以及组内样本至该质心的最大距离。这些组又可形成层次结构，即组又分子组，因而待识别样本可将搜索近邻的范围从某一大组，逐渐深入到其中的子组，直至树的叶结点所代表的组，确定其相邻关系。这种方法着眼于只解决减少计算量，但没有达到减少存储量的要求。 改进方法 第五章 近邻法 样本集的层次结构 用树结构表示样本分级: p: 树中的一个结点，对应一个样本子集Kp Np : Kp中的样本数 Mp : Kp中的样本均值 rp : 从Kp中任一样本到Mp的最大距离 第五章 近邻法 减少计算的规则 规则1：如果满足：则Kp中的样本都不可能是x的最近邻，B是算法执行中当前到x的最近距离 改进方法 规则2：如果满足： 则xi不是x的最近邻 第五章 近邻法 剪辑近邻法 剪辑近邻法：其基本思想是，利用现有样本集对其自身进行剪辑，将不同类别交界处的样本以适当方式筛选，可以实现既减少样本数又提高正确识别率的双重目的。 改进方法 第五章 近邻法 剪辑近邻法 剪辑的过程是：将样本集KN分成两个互相独立的子集：test集KT和reference集KR。首先对KT中每一个Xi在KR中找到其最近邻的样本Yi(Xi) 。如果Yi与Xi不属于同一类别，则将Xi从KT中删除，最后得到一个剪辑的样本集KTE（剪辑样本集），以取代原样本集，对待识别样本进行分类。 改进方法 *