神经网络及反向传播公式的推导笔记.docxVIP

神经网络及反向传播公式的推导笔记

一、神经网络基础符号定义

1.1网络结构记号

考虑一个L层全连接神经网络：

符号

含义

L

网络总层数（不含输入层）

n

第l层的神经元数量

a

第l层的激活值向量，a

z

第l层的线性输出，z

W

第l层权重矩阵，W

b

第l层偏置向量，b

g

第l层激活函数

1.2前向传播公式

对于第l层（l=

z

其中输入层a0

1.3损失函数

定义单个样本的损失函数为?y

J

常用损失函数示例：

均方误差：?

交叉熵（二分类）：?

二、反向传播的核心思想

反向传播的目标是计算损失函数对每个参数的梯度?J?W

核心思想：利用链式法则，从输出层开始逐层向前计算梯度。

三、链式法则基础

3.1标量链式法则

dy

3.2向量链式法则

?

四、反向传播公式推导

4.1定义误差项

定义第l层的误差项δl为损失函数对该层未激活输出z

δ

4.2输出层误差（第L层）

对于输出层，激活值aL

δ

其中：

?J

?a

因此：

δ

其中⊙表示逐元素乘法（Hadamard积）。

4.3从后一层向前一层的递推公式

假设已知δl+1

由链式法则：

δ

其中：

?

?

因此：

δ

4.4参数梯度计算

4.4.1权重矩阵梯度

由J关于Wl

?

由于zl

?

所以：

?

4.4.2偏置向量梯度

类似地：

?

由于?z

?

4.5梯度下降更新规则

W

其中α是学习率。