深度学习及计算机视觉应用课件 4.3 深度学习三部曲——优化算法.pptxVIP

深度学习三部曲----优化算法

回顾：深度学习基础三个步骤定义函数集合神经网络找到最优函数优化方法衡量函数好坏损失函数

基本流程损失值优化方法权重步骤1：神经网络步骤2：损失函数步骤3：优化算法预测值输入深度学习模型网络层（数据变换）网络层（数据变换）权重更新值损失函数真实目标值训练数据集:（,)

回顾：深度学习基础全连接层卷积层池化层SigmoidTanhReLUReLUVariantsDropoutDropoutVariantsBatchNorm基础网络层激活函数层正则化层神经网络HingeLossMultiClassSVMLossSoftmaxLossMeanSquareErrorSigmoidCrossEntropyLossContrastiveLossTripletLossCenterLossFocalLossLarge-MarginSoftmaxLoss损失函数经典损失函数新兴损失函数优化算法梯度下降法反向传播算法权值衰减梯度消失/梯度爆炸AdaGradRMSPropMomentumNAG

目录优化的核心是什么？优化的技巧？如何计算梯度？梯度下降法优化中的问题？反向传播算法AdaGrad，RMSProp,Momentum，NAG…梯度消失，梯度爆炸优化算法梯度下降法反向传播算法权值衰减梯