KNN算法的重点近邻的距离度量表示法K值的选择K近邻算法的实现.PPTVIP

K近邻算法，（K-Nearest Neighbor algorithm）简称KNN算法，给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。它是用于解决分类问题的算法。 KNN算法 KNN 算法的例子 有两类不同的样本数据，分别用蓝色的小正方形和红色的小三角形表示，而图正中间的那个绿色的圆所标示的数据则是待分类的数据。 如果K=3，绿色圆点的最近的3个邻居是2个红色小三角形和1个蓝色小正方形，少数从属于多数，基于统计的方法，判定绿色的这个待分类点属于红色的三角形一类。 如果K=5，绿色圆点的最近的5个邻居是2个红色三角形和3个蓝色的正方形，还是少数从属于多数，判定绿色的这个待分类点属于蓝色的正方形一类。 ? ? 于此我们看到，当无法判定当前待分类点是从属于已知分类中的哪一类时，我们可以依据统计学的理论看它所处的位置特征，衡量它周围邻居的权重，而把它归为(或分配)到权重更大的那一类。这就是K近邻算法的核心思想。 KNN算法的重点 邻近的判定标准是什么，用什么来度量。即近邻的距离度量表示法。 还有一个选择多少个邻居，即K值定义为多大的问题。 近邻的距离度量表示法 K近邻模型的特征空间一般是n维实数向量空间，使用的距离可以使欧式距离 欧式距离的计算公式： 也是可以是其它距