附预测数值型数据：回归选编.pptxVIP

附 预测数值型数据：回归 拟合直线 局部加权线性回归 理解数据 权衡偏差和方差 前言 预测联系型数据 “回归可以做任何事情” 最近有新意的应用：预测名人的离婚率 先介绍线性回归 再引入局部平滑技术 分析如何更好的拟合数据 在欠拟合情况下的缩减技术 探讨偏差和方差的概念 用线性回归找到最佳拟合直线 线性回归 优点：结果易于理解，计算上不复杂 缺点：对非线性的数据拟合不好 回归的目的是预测数值型目标值：找到目标的计算公式 预测某人的汽车功率： HorsePower = 0.0015*annualSalary-0.99*hoursListeningToRadio 以上为回归方程 0.0015和-0.99为回归系数 求回归系数的过程即为回归——本次只讨论线性回归 回归的一般方法 收集数据 按输入要求整理数据 数据可视化以直观分析数据 训练算法：找到回归系数 测试算法：使用R2或者预测值和数据的拟合度来分析模型的效果 使用算法：给定输入的时候预测输出 基本算法 例：对以下点集进行拟合 import numpy as np lstDt = [] lstLbl = [] # lbl: label fr = open(.\\ex0.txt) for line in fr.readlines(): arLn = line.strip().split() lstDt.append([float(arLn[0]), float(arLn[1])]) lstLbl.append(float(arLn[2])) 计算回归： xMat = np.mat(lstDt) yMat = np.mat(lstLbl).T xTx = xMat.T*xMat if np.linalg.det(xTx)==0.0: print This is matrix is singular, cannot do inverse! else: ws = xTx.I*(xMat.T*yMat) 绘图 plt.figure() lstX = [dt[1] for dt in lstDt] plt.scatter(lstX, lstLbl) lstY = [ws[0, 0]+ws[1, 0]*x for x in lstX] plt.plot(lstX, lstY) 如何如何评判模型的好坏？ 不同数据集： 分别做线性回归， 得到完全一样的两个模型 如何比较回归效果？ 计算yHat和y的相关系数： arrYHat = np.array(lstY) arrY = np.squeeze(np.array(yMat)) print np.corrcoef(arrY, arrYHat) 局部加权线性回归 平滑值 k = 1 平滑值 k = 0.01 平滑值 k = 0.003 代码：算法实现 xMat = np.mat(lstDt) yMat = np.mat(lstLbl).T m = xMat.shape[0] k = 0.01 lstY = [] for i in range(m): wgt = np.mat(np.eye(m)) dtTst = xMat[i, :] for j in range(m): difMat = dtTst - xMat[j, :] wgt[j, j] = np.exp(difMat*difMat.T/(-2*k**2)) xTx = xMat.T*(wgt*xMat) if np.linalg.det(xTx)==0.0: print This is matrix is singular, cannot do inverse! else: ws = xTx.I*(xMat.T*(wgt*yMat)) matV = dtTst*ws lstY.append(matV[0, 0]) 代码：显示结果 plt.figure() lstX = [dt[1] for dt in lstDt] plt.scatter(lstX, lstLbl) sIdx = np.argsort(lstX) lstXSort = [lstX[idx] for idx in sIdx] lstYSort = [lstY[idx] for idx in sIdx] plt.plot(lstXSort, lstYSort) arrYHat = np.array(lstY) arrY = np.squeeze(np.array(yMat)) print np.corrcoef(arrY, arrYHat) 普通和加权的代码区别 示例：预测鲍鱼的年龄 使用较小的核将得到较小的训练误差： k = 0.1：拟合值与原点集的误差为56.8426 k = 1：拟合值与原点集的误差为429.891 k =