《梯度下降法》课件.pptVIP

（Suitableforteachingcoursewareandreports）梯度下降法1.引言梯度下降（GD）是最小化风险函数、损失函数的一种常用方法。在应用机器学习算法时,通常采用梯度下降法来对采用的算法进行训练。梯度下降法包含三种不同形式:批量梯度下降BGD（BatchGradientDescent）随机梯度下降SGD（StochasticGradientDescent）小批量梯度下降法MBGD(Mini-BatchGradientDescent)下文将以线性回归算法为例来对三种梯度下降法进行比较2.先导知识一元线性回归(拟合曲线)假设这里存在m=6组数据(x,y)从图上可以看出，大致数据的大致走势是可以用线性模型y=kx+b来表示的，为此我们建立一维线性回归模型。假设一维线性模型表达式如下:其中:h?(x)是假设函数，即要拟合的函数θ为待求解参数，即要迭代求解的值，θ求解出来了那最终要拟合的函数h?(x)就确定了。n表示输入特征数，为方便计算，所有的样本都加入了x0=1这个特征，所以维数为n+1维。对应的损失/误差函数，即估计值与真实值之间的差距，这里用2-范数表示为:其中:m是训练集的样本个数1/2是为了后面求导计算方便一个二维参数（θ0,θ1）组对应