【模式识别与人工智能】31-第四章-第八节-神经网络-梯度消失与爆炸.pptxVIP

第十章神经网络-梯度消失与爆炸模式识别与人工智能授课教师：栾声扬汇报人：孙浩

CONTENTS梯度消失1梯度爆炸2

PART01梯度消失

深度神经网络和反向传播梯度消失的根源：深度神经网络和反向传播深度神经网络的发展，促使可以构建更深层的网络完成更复杂的任务，深层网络比如深度卷积网络，LSTM等等。结果表明，在处理复杂任务上，深度网络比浅层的网络具有更好的效果。4.8.1梯度消失

深度神经网络和反向传播神经网络的优化方法是基于反向传播的思想即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。原因：深层网络由许多非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数 。4.8.1梯度消失

深度神经网络和反向传播神经网络的优化方法是基于反向传播的思想4.8.1梯度消失浅层学习深度学习

深度神经网络和反向传播神经网络的优化方法是基于反向传播的思想因此整个深度网络可以视为是一个复合的非线性多元函数。我们最终目的是希望这个多元函数可以很好的完成输入到输出的映射。4.8.1梯度消失

深度神经网络和反向传播神经网络的优化方法是基于反向传播的思想假设不同的输入，输出最优解是。那么优化深度网络是为了寻找到合适的权值，满足 取得最小值点。比如简单的损失函数平方差此时使用