KNN模型机器学习53课件讲解.pptxVIP

机器学习徐国清KNN模型河南工业职业技术学院

KNNCover和Hart于1968年提出，理论上成熟，原理最简单。思路如果一个样本在特征空间中的K个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

KNN

KNN

K值选择如何确定K取多少值好呢？答案是通过交叉验证。做法将样本数据按照一定比例，拆分出训练用的数据和验证用的数据，改变K值然后计算验证集合的方差，最终找到一个比较合适的K值。

K值选择需要安装scikit-learnPip或navigator在python中导入KNN的方法：fromsklearn.neighborsimportKNeighborsClassifier

K值选择sklearn.neighbors.KNeighborsClassifier的k-近邻算法使用介绍classsklearn.neighbors.KNeighborsClassifier(n_neighbors=5,weights=’uniform’,algorithm=’auto’,leaf_size=30,

p=2,metric=’minkowski’,metric_params=None,n_jobs=None,**kwargs)

参数介绍n_neighborsint，默认值为5表示k-nn算法中选取离测试数据最近的k个点weightstrorcallable，默认值为uniform。表示k近邻点都分类结果的影响。uniform：表示所有点的权重相等distance：表示权重是距离的倒数，意味着k个点中距离近的点对分类结果的影响大于距离远的点[callable]：用户自定义函数，接受一个距离数组，返回一个同维度的权重数

参数介绍algorithm{ball_tree,kd_tree,brute,auto}计算找出k近邻点的算法ball_tree：使用BallTree维数大于20时建议使用kd_tree：使用KDTree，原理是数据结构的二叉树，以中值为划分，每个节点是一个超矩形，在维数小于20是效率高brute：暴力算法，线性扫描auto：自动选取最合适的算法

类的属性leaf_sizeint，默认值为30，用于构造BallTree和KDTreeleaf_size参数设置会影响树构造的树构造和询问的速度，同样也会影响树存储需要的内存，这个值的设定取决于问题本身。p：int，默认值为21：使用曼哈顿距离进行度量2：使用欧式距离进行度量

类的属性metric指定距离度量方法，一般都是使用欧式距离。euclidean：欧式距离?manhattan：曼哈顿距离?chebyshev：切比雪夫距离?minkowski：闵可夫斯基距离，默认参数n_jobs指定多少个CPU进行运算，默认是-1，也就是全部都算。

方法fit(X,y)：使用X作为训练数据和y作为目标值拟合模型。get_params([deep])：获取此估计量的参数。kneighbors([X,n_neighbors,return_distance])：查找点的K邻居。查找点的K邻居。返回每个点的邻居的索引和与之的距离。kneighbors_graph([X,n_neighbors,mode])：计算X中点的k邻居的（加权）图。predict(X)：预测提供的数据的类标签。predict_proba(X)：测试数据X的返回概率估计。

方法score(X,y[,sample_weight])：返回给定测试数据和标签上的平均准确度。set_params(**params)：设置此估算器的参数。

小结

机器学习徐国清KNN模型河南工业职业技术学院