第六章74课件讲解.pptxVIP

第六章汇报人：人工智能专业使用KNN算法实现分类与回归

单击此处

添加章节标题PARTONE

3回归问题研究的是一组变量与另一组变量之间的关系，其预测结果是连续的数值。使用k近邻算法解决回归问题时，仍然需要计算待测样本与所在特征空间中每个样本的距离，基于计算结果，找到与待测样本最邻近的k个样本，通过对这k个样本的某个值（如平均值）进行统计，依据各个待测样本的统计值画出回归曲线，进而预测新样本的值。k近邻算法解决回归问题的原理6.3.1k近邻算法的原理分析

4在研究二手房房价与面积之间关系的实例中，使用k近邻算法建立模型，得到的回归曲线如图所示。k近邻算法解决回归问题使用k近邻算法建立回归模型的过程：先主观设置k的值，假设k的值为5，通过计算找到所在特征空间中与待测样本距离最近的5个样本，然后计算这5个样本的某个统计值（如平均值），将这个值作为待测样本的预测值，依据各个样本的预测值得到回归曲线。k近邻算法解决回归问题的原理6.3.1k近邻算法的原理分析

5Sklearn的neighbors模块提供了KNeighborsClassifier和KNeighborsRegressor类，分别用于实现k近邻分类和回归算法。在Sklearn中，可通过下面语句导入k近邻算法模块。fromsklearn.neighborsimportKNeighborsClassifier #导入k近邻分类模块fromsklearn.neighborsimportKNeighborsRegressor #导入k近邻回归模块6.3.2Sklearn中的k近邻模块

6KNeighborsClassifier和KNeighborsRegressor类都有如下几个参数。（1）参数n_neighbors用来指定k近邻算法中的k值，该参数必须指定。（2）参数weights用于指定权重，其取值有uniform、distance与自定义函数3种：①uniform表示不管近邻点远近，权重值都一样，这是最普通的k近邻算法；②distance表示权重和距离成反比，即距离预测目标越近权重值越大；③自定义函数表示用户可以自定义一个函数，根据输入的坐标值返回对应的权重值。（3）参数algorithm用来设置k近邻模型使用的算法，其取值有brute、kd_tree、ball_tree与auto：①brute表示直接计算所有距离再排序；②kd_tree表示使用kd树实现k近邻算法；③ball_tree表示使用球树实现k近邻算法；④auto为默认参数，表示自动选择合适的方法构建模型。6.3.2Sklearn中的k近邻模块

7【例4-2】表4-3是某班级学生身高和体重的数据集，表中最后一名学生只有身高信息，体重信息丢失。要求使用k近邻算法建立模型，预测最后一名学生（身高：173cm）的体重。（本实例只用于学习，不代表实际值）表4-3学生身高与体重数据集学生身高/（cm）体重/（kg）学生身高/（cm）体重/（kg）11821137158722178105815445317086914949416883101444351658611173？616274???6.3.2k近邻算法回归应用举例

8（1）题目要求预测身高为173cm学生的体重，这是一个回归问题，使用k近邻算法建立模型，需要先确定最优的k值。在Sklearn中，可以测试不同k值下，模型的预测准确率，从而找到最优的k值。【程序分析】6.3.2k近邻算法回归应用举例

9k值与预测误差率的关系【参考代码】#导入需要的模块importmatplotlib.pyplotaspltimportnumpyasnpfromsklearn.neighborsimportKNeighborsRegressorfromsklearn.model_selectionimporttrain_test_split#数据处理x=np.array([[182],[178],[170],[168],[165],[162],[158],[154],[149],[144]])y=np.array([[113],[105],[86],[83],[86],[74],[72],[45],[49],[43]])x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3,random_state=0)#k取不同值的情况下，模型的预测误差率计算k_range=range(2,8) #设置k值的取值范围k_error=[] #保存预测误差率的数组fork