《深度学习应用开发》课件——09-梯度下降及神经网络反向传播.pptxVIP

梯度下降及神经网络反向传播

目录梯度下降算法反向传播正反向传播总结神经网络梯度下降算法对比常用梯度下降算法选型建议常用梯度下降算法关键对比维度

PART.1梯度下降算法

梯度下降算法神经网络通过前向传播计算预测值(?)，再通过损失函数衡量预测值?与真实值y的差距。我们的终极目标是找到一组最优的网络参数（权重w和偏置b），使得这个损失在所有训练数据上尽可能小。

想一想参数空间巨大，如何高效地找到那组使损失函数最小的参数？梯度下降算法

梯度下降算法负梯度方向是函数下降最快的方向，我们可以从某个点开始，沿着向下方向一路前行，期望最终可以找到目标函数的极小值点，这就是梯度下降法的核心思想。通过迭代调整参数来最小化目标函数的优化方法。其核心是计算目标函数对各参数的偏导数（梯度向量），沿负梯度方向更新参数值，逐步逼近函数极小值点，因此也被称为最速下降法。在微积分里面，对多元函数参数求偏导数，把求的各参数的偏导数以向量的形式表达出来，就是梯度，如图所示。

梯度下降算法导数=你脚下那一刻的爬坡速度几何意义=你脚下那一点山坡的陡峭程度

函数→整座山坡的轮廓某一点→你脚下的位置导数→你此时此地的瞬时爬坡速度切线斜率→你脚下那一小块地有多陡梯度下降算法

梯度下降推导——一元函数导数一元函数导数：一个函数在某一点的导数描述了这个函数在这一点附