深度学习cs231n作业batch normalizationmd.pdfVIP

让 网络更容易训练，其中一个 是使用更 优化器，如SGD+Momentum ，这部分我们在FCN这个作业中已经进行了实 现；另外一个 就是改变网络的结构，比如加入BN层。 在实践中，使用了BN的网络对于不 初始值有更强的鲁棒性，即，该 减轻了如何合理初始化神经网络这个棘手问题带来的 头痛。 该做法是让激活数据在训练开始前通过一个网络，网络处理数据使其服从标准高斯分布（均值为0 ，方差为1）。 这一次的作业我们就来实现了BN层，然后用它来进行网络训练。 主要内容： [TOC] #1 BN层的构建 ##1.1 前向传播 前向传播的数学公式如下：  值得注意的是，在做测试的时候为了对一个采样也可以使用BN ，此时的均值采用做训练时候的一个统计平均，同时方差采样的是 误差的是无差的平均统计，即： 根据这个，我们可以确定其在 的实现： ```# def batchnorm_forward(x, gamma, beta, bn_param): mode = bn_param [mode] eps = bn_param.get(eps, 1e-5) momentu