梯度消失与爆炸神经网络基础知识66课件讲解.pptxVIP

梯度消失与爆炸神经网络基础知识刘一韬《深度学习技术与应用》

目录CONTENTS01梯度消失与爆炸的成因02缓解方法与训练策略

PART01第一部分梯度消失与爆炸的成因

梯度消失的机制深层模型中的梯度衰减梯度在反向传播中因激活函数饱和导致信号逐渐消失。反向传播路径的脆弱性深层网络中梯度逐层缩小，导致参数更新停滞。

权重初始化与连乘效应权重过大或循环结构导致梯度在反向传播中指数级放大。参数更新的剧烈震荡梯度爆炸引发参数剧烈跳变，训练过程无法收敛。梯度爆炸的机制

PART02第二部分缓解方法与训练策略

网络结构设计网络深度的理性控制避免盲目堆叠层数，