《大模型原理与技术》PPT完整全套教学课件.pptx

;;;大模型基本概念;;大模型基本概念;;;;;;;;;;;;;谢谢!

Thanks!;第2章深度学习基础;;;;;神经网络基础;2;;神经网络基础;;;神经网络基础;神经网络基础;2;损失函数和优化算法;;2;优化算法

口 梯度下降法

目标函数设定：设定一个目标函数(损失函数)J(0),其中θ表示模型的参数。目标是找到使得目标函数最小化的参数值。

梯度计算：计算目标函数关于参数的梯度，即DJ(0)。梯度表示目标函数在参数空间中的变化率，它指示了函数增长最快的方向。

参数更新：根据梯度的反方向调整参数，通过以下规则进行参数更新，即

θ=θ-αVJ(θ)

其中，α是学习率，表示每