多层前馈网络训练中的梯度反向传导原理.docxVIP

多层前馈网络训练中的梯度反向传导原理

目录

一、内容综述与背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、前向信号处理流程详解．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

三、梯度的核心地位．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

损失函数相对于参数的位置变化率．．．．．．．．．．．．．．．．．．．．．．．．．．6

关键概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

梯度指导优化方向．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

参数更新效率与梯度大小的关系．．．．．．．．．．．．．．．．．．．．．．．．．．．17

四、误差反向传播算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

BP算法模型架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

计算输出层的输出误差梯度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

反向动能传递．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

连接权重调整的计算逻辑链．．．．．．．．．．．．．．．．．．．．．