源代码近邻算法介绍及python下分类问题实现-peaker.pdfVIP

#源代码#K近邻算法介绍及Python下分类问题的实现

Peaker

K最近邻(k-NearestNeighbour，KNN)分类算法，是一个理论上比

较成方法，也是最简单的机器学习算法之一。该方法的思路是：如

果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本

中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，

所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据

最邻近的一个或者几个样本的类别来决定待分样本所属的类别。KNN

方法虽然从原理上也依赖于极限定理，但在类别决策时，只与极少量

的相邻样本有关。

KNN算法不仅可以用于分类，还可以用于回归。通过找出一个样

本的k个最近邻居，将这些邻居的属性的平均值赋给该样本，就可以

得到该样本的属性。更有用的方法是将不同距离的邻居对该样本产生

的影响给予不同的权值(weight)，如权值与距离成正比。该算法在分

类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，

而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本

的K个邻居中大容量类的样本占多数。该算法只计算“最近的”邻居样

本，某一类的样本数量很大，那么或者这类样本并不接近目标样本，或

者这类样本很靠近目标样本。无论怎样，数量并不能影响运行结果。可

以采用权值的方法（和该样本距离小的邻居权值大）来改进。由于KNN

方法主要靠周围有限的邻近的样本，而不是靠判别类域的方法来确定

所属类别的，因此对于类域的交叉或较多的待分样本集来说，KNN

方法较其他方法更为适合。

该方法的另一个不足之处是计算量较大，因为对每一个待分类的

文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点。

目前常用的解决方法是事先对已知样本点进行剪辑，事先去除对分类

作用不大的样本。该算法比较适用于样本容量比较大的类域的自动分

类，而那些样本容量较小的类域采用这种算法比较容易产生误分。同

时，你将看到，K近邻算法同本系列的前两篇文章所讲的决策树分类

贝叶斯分类，及支持向量机SVM一样，也是用于解决分类问题的算法，

在Python语言中提供了K近邻的算法实现，可以非常简单的从一

组矩阵数据中识别出每个数据点最接近的neighbors。

我们通过NearestNeighbors库就可以实现寻找neighbor的过程，

这里选择的是ball_tree的算法，后面会介绍还可以使用KDtree的算法。

上面是输出结果，因为这里是用X做训练，又对X做的

neighbor预测，所以最接近的neighbor都是它自己，距离都是0.

那么我们如何通过K近邻算法对数据进行分类预测呢？这里我们

分别用distance和uniform作为weight权重来比较最后的分类结果。

上面是两种weight的分类结果，两种方法在结果上还是比较统一

的。

以上K近邻分类算法的实现代码如下