2016近邻法.pptVIP

近邻法举例 Figure shows the decision boundary of the (K = 8)-nearest neighbor classifier. 7.2 k-近邻法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 快速搜索近邻法 这种方法只解决减少计算量，但没有达到减少存储量的要求。 其基本思想是将样本集按邻近关系分解成组，给出每组的质心所在，以及组内样本至该质心的最大距离。这些组又可形成层次结构，即组又分子组，因而待识别样本可将搜索近邻的范围从某一大组，逐渐深入到其中的子组，直至树的叶结点所代表的组，确定其相邻关系。 7.2 k-近邻法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 一、样本集分级分解 根据以上基本思想，先对样本集进行分级分解，分级分解过程可列举如下： 首先将整个样本分成l个子集，每个子集又分为它的l个子集，如此进行若干次就能建立起一个样本集的树形结构。分成子集的原则是该子集内的样本尽可能聚成堆，这可用聚类方法实现。 7.2 k-近邻法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 一、样本集分级分解 结点参数： 树形结构，每个结点表示一样本子集，描述该子集的参数是： Xp——该结点对应的样本子集代号； Np——p中包含的样本个数； Mp——是样本子集p的样本均值； 7.2 k-近邻法 Mp到所属成员的最大距离。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 二、快速搜索算法 要实现快速搜索近邻，需要有方法快速判断某个样本子集是否是该待识样本的可能近邻样本集，从而可将无关的样本子集尽快排除。 另一方面在某样本子集内寻找哪个样本是近邻时，需快速排除不可能为近邻的样本。 这两个快速判别算法可用以下两个规则表示： 7.2 k-近邻法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 二、快速搜索算法 规则1： 如果存在 B+rpD(x，Mp) 则xi∈Xp不可能是x的近邻。其中B是待识别样本在搜索近邻过程中的当前近邻距离，B在搜索过程中不断改变与缩小。算法开始可将B设为无穷大。 D(x,Mp)表示待识样本x到结点Xp的均值点距离。 7.2 k-近邻法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 二、快速搜索算法 这个规则的证明是显而易见的，如图表示一待识样本及其当前近邻与一样本子集的关系。 B+rpD(x，Mp) 7.2 k-近邻法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 二、快速搜索算法 如果以x为圆心，B为半径作圆，则圆与样本子集Xp的分布圆不会相交，因而Xp中任一样本不可能比x的当前近邻更靠近x。 B+rpD(x，Mp) 7.2 k-近邻法 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 二、快速搜索算法 规则2： 如果 B+D(xi，Mp)D(x，Mp) 其中xi∈X，则xi不可能是x的近邻。 规则2的证明同规则1。 由此