【模式识别与人工智能】04-第一章-第四节-线性回归-优化算法2.pptxVIP

;CONTENTS;;梯度下降法的概念

梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向。

在做梯度下降时，应该沿着梯度的反方向进行权重更新，可以有效的找到全局优解。

损失函数：

;梯度下降法的参数更新

其中， 为

参数更新过程为

;梯度下降法的参数更新

参数更新过程为

;梯度下降法的示意图;梯度下降法的示意图;梯度下降法的形式

批量梯度下降（BatchGradientDescent，BGD）

随机梯度下降（StochasticGradientDescent，SGD）

小批量梯度下降（Mini-BatchGradientDescent，MBGD）

梯度下降法是求解机器学习算法模型参数的方法之一。

求解损失函数的最小值时，通过一步步地迭代求解，最终得到最小化的损失函数和模型参数值。;随机梯度下降法

用途：分类计算或回归计算

优势：

高效和易于实现

劣势：

SGD需要一些超参数

SGD对特征归一化敏感;随机梯度下降法

对目标函数求偏导

参数更新;图3随机梯度下降法Loss随Epoch下降;随机梯度下降法

发展历程

1986年Sutton[1]指出SGD搜索的效率十分低下的缺陷。

1992年Polyak等人[2]提出平均随机梯度下降（AveragedStochasticGra