Python工程应用—机器学习方法与实践第4章K近邻算法.pptxVIP

第一章 概论西华大学机器学习第四章 K近邻算法XXX学校XXX2022 目录Contents模型介绍案例：约会网站配对案例：手写数字识别案例：鸢尾花品种识别 知识引入3 本章知识图谱4 模型介绍一 1.1 算法概述6 K近邻算法(K-Nearest Neighbor，简称KNN)，是一种根据不同样本的特征值之间的距离进行分类的算法。KNN中可以根据具体的情况选择不同的“距离”衡量方式。它的基本思想是：如果一个样本在特征空间中的K个最邻近样本中的大多数属于某一个类别，那么该样本也属于这个类别。用一句话来总结KNN算法就是：近朱者赤，近墨者黑。 1.1 算法概述7KNN的优点包括：算法简单，易于理解，易于实现，无需参数估计，无需训练。精度高，对异常值不敏感(个别噪音数据对结果的影响不是很大)。适合对稀有事件进行分类。KNN的缺点包括：对测试样本分类时的计算量大，空间开销大。可解释性差，无法给出像后续章节将要介绍的决策树模型那样的规则。当样本不平衡时，不能准确的判别分类，这是KNN最大的缺点。例如一个类的样本容量很大，而其他类样本容量很小。这有可能导致当输入一个新样本时，新样本的K个邻居中始终都是大容量类的样本占多数，从而导致错误分类。可以采用加权值的方法(和该样本距离小的邻居权值大)来改进这个问题 1.2 算法基本原理8KNN算法的三个基本要素是K值的选择