深度学习及计算机视觉应用课件 4. 深度学习基础-优化算法.pptxVIP

深度学习基础

优化算法

/

回顾：深度学习基础

三个步骤

定义函数集合

神经网络

找到最优函数

优化方法

衡量函数好坏

损失函数

2

基本流程

3

回顾：深度学习基础

基础网络层激活函数层正则化层

全连接层

池化层

Sigmoid

卷积层

Dropout

BatchNorm

Tanh

ReLU

ReLUVariants

DropoutVariants

4

优化算法

优化的技巧？

AdaGrad，RMSProp,

Momentum，NAG…

优化的核心是什么？

梯度下降法

如何计算梯度？

反向传播算法

目录

优化中的问题？梯度消失，梯度爆炸

梯度消失/梯度爆炸

梯度下降法

反向传播算法

权值衰减

AdaGrad

RMSPr