《机器学习Python实战》课件 06-项目3 KNN 算法基本原理讲解.pptxVIP

?机器学习Python实战?项目3KNN算法实战

1KNN算法的原理2KNN算法的流程目录CONTENTS3KNN算法的关键

01KNN算法的原理

KNN算法的原理待分类的数据KNN(K-NearestNeighbor，KNN)算法的核心思想就是距离的比较，即离谁近，就和谁属于同一分类。

KNN算法的原理如果K=3，圆点最邻近的3个邻居是2个小三角形和1个小正方形，少数从服从多数，基于统计的方法，判定圆点属于三角形一类。如果K=5，圆点最邻近的5个邻居是2个三角形和3个正方形，还是少数服从多数，基于统计的方法，判定圆点属于正方形一类。

KNN算法的原理在KNN算法中，所选择的邻居都是已经正确分类的对象。新来的待分类样本：找到离它最近的K个样本，按照少数服从多数原则，哪个类别多就把它归为哪一类。

KNN算法的原理KNN算法，即给定一个已标注的训练集，对于新的输入样本，在训练集中找到与该样本距离最近的k个样本，统计这k个样本中各个类别的样本数量，将输入样本归为出现次数最多的那个类别。

02KNN算法的流程

计算待预测数据点与训练集中所有已知类别样本的距离（常用欧氏距离）Step1按距离从近到远对训练样本排序Step2取距离最近的k（k为预设参数）个样本Step3统计这k个邻居中各类别的出现次数St