梯度下降法理论及部分代码实现.pdfVIP

梯度下降法 梯度下降法是一种最优化算法，常用来优化参数，通常也称为最速下降法。 梯度下降法是一般分为如下两步： 1）首先对参数θ 赋值，这个值可以是随机的，也可以让θ 是一个全零的向量； 2）改变θ 的值，使得J(θ )按梯度下降的方向进行减少。 以一个线性回归问题为例，应用libsvm包里的数据heart_scale.mat数据做测试。假设要 学习这么一个函数： h(x) h (x)   x x