《python机器学习》实验报告.docxVIP

实验报告 通信与信息工程学院 二 0 二一年 实验题目 实验内容 实验总结 实验五Logic回归 一.实验题目Logic回归算法：梯度上升法 利用Logistic回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公 式，以此进行分类。这里的〃回归〃一词源于最佳拟合，表示要找到最佳拟合参数集，其背 后的数学分析将在下一部分介绍。训练分类器时的做法就是寻找最佳拟合参数，使用的是 最优化算法。 Logic回归的一般过程 收集数据：采用任意方法收集数据。 准备数据：由于需要进行距离计算，因此要求数据类型为数值型。另外，结构化数 据格式则最佳。 分析数据：采用任意方法对数据进行分析。 训练算法：大部分时间将用于训练，训练的目的是为了找到最佳的分类回归系数。 测试算法：一旦训练步骤完成，分类将会很快。 使用算法：首先，我们需要输入一些数据，并将其转换成对应的结构化数值；接 着，基于训练好的回归系数就可以对这些数值进行简单的回归计算，判定它们属于哪个类 别，在这之后，我们就可以从推出的类别上做一些其他分析工作。 梯度上升法基于的思想是：要找到某函数的最大值，最好的方法是沿着该函数的梯度 方向探寻。 二.实验内容 1.使用梯度上升找到最佳参数 def gradAscent(dataMatln^ classLabels) : #梯度上升算法的实际工作 dataMatrix = mat (dataMatln) #获得输人数据并将它们 转换成Nupmy矩阵 labelMat = mat (classLabels). transpose() 写输J 据并将它们 转 加upmy矩阵 m,n = shape(dataMatrix) alpha = 0.001 maxCycles = 500 weights = ones((n?1)) for k in range(maxCycles) : ^maxCycles是迭代次数 h = sigmoid(dataMatrix*weights) error = (labelMat?h) 自向量减法 weights = weights + alpha * dataMatrix.transpose()* error ^matrix mu Lt return weights 图1梯度上升函数 结果： import logRegres dataArr, labelMat二logRegres. loadDataSet() logRegres. gradAscent(dataArr, labelMat) Out [6]: matrix ([ [ 4., [0., [-0.6168482 ]]) y = (-weights [0]-weights [ 1 ] *x)/weights[2] 最佳拟合直线 -2.5 -15.0 -12.5 -2.5 - 15.0 - 12.5 - 10.0 - 7.5 - -3 -2 -i o 1 2 3 xi 图2梯度上升算法执行结果 2 .随机梯度上升 for i in range(m): (dlnlh = sigmoid(sum(dataMatrix[i]*weights)) # 弓:数， (dlnl error = classLabelsfi] - h 甘数值 不是向 weights = weights + alpha * error * dataMatrix[i] 图3随机梯度上升算法执行结果 改进的随机梯度上升法 for j in range(numlter): datalndex = list(range(m)) for i in range(m): alpha = 4/(1.0+j+i)+0.0001 # Apha随昔迭代而减少.而不足因为常数而趋 randindex = int(random.uniform(0jlen(datalndex)))# _ // 己」/ L | h = sigmoid(sum(dataMatrix[randindex]*weights)) error = classLabels[randindex] - h weights = weights + alpha * error * dataMatrix[randindex] del(datalndex[randlndex]) 15.0 - - 10.0 - - 5.0 - - 0.0 - 图4使用改进的随机梯度上升算法得到的系数-2.5 - 图4使用改进的随机梯度上升算法得到的系数 从疝气病症预测病马的死亡率 irainingLaDeis.appena^TioancurrLine[zijj; trainweights = stocGradAscent