基于梯度的优化方法：梯度下降法_4.梯度下降法的类型：批量梯度下降、随机梯度下降、小批量梯度下降.docx

PAGE1

PAGE1

4.梯度下降法的类型：批量梯度下降、随机梯度下降、小批量梯度下降

在上一节中，我们介绍了梯度下降法的基本原理和应用场景。接下来，我们将详细探讨梯度下降法的三种主要类型：批量梯度下降（BatchGradientDescent,BGD）、随机梯度下降（StochasticGradientDescent,SGD）和小批量梯度下降（Mini-BatchGradientDescent,MBGD）。每种方法都有其独特的优点和缺点，适用于不同的场景。

4.1批量梯度下降（BatchGradientDescent,BGD）

批量梯度下降是最经