机器学习上机作业汇编.docxVIP

Gradient Descent 1.题目描述： 用梯度下降法对所给数据进行一元线性回归。 2.算法描述及步骤： 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等。 对于梯度下降法来说，可以先对数据作出一个估计函数： θ在这儿称为参数，表示每个特征的重要性。为了如果我们令X0 = 1，就可以用向量的方式来表示了： 然后需要一个机制去评估θ是否比较好，所以说需要对我们做出的h函数进行评估，一般这个函数称为损失函数（loss function）或者错误函数(error function)，描述h函数不好的程度，在下面，我们称这个函数为J函数。在这儿我们可以做出下面的一个错误函数： 梯度下降法是按下面的流程进行的： （1）首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量。 （2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。 对于函数J(θ)求偏导： 下面是更新的过程，也就是θi会向着梯度最小的方向进行减少。θi表示更新之前的值，-后面的部分表示按梯度方向减少的量，α表示步长，也就是每次按照梯度减少的方向变化多少。 3.程序代码及解释： clear all; load shuju siz