深度学习批归一化batch normalization-madcola博客园详尽.pdfVIP

【深度学习】批归一化（BatchNormalization）

BN是由于2015年提出，这是一个深度神经网络训练的技巧，它不仅可以加快了模型的收敛速度，而且更重

要的是在一定程度缓解了网络中“梯度弥散”的问题，从而使得训练网络模型更加容易和稳定。所以目前BN

已经成为几乎所有卷积神经网络的标配技巧了。

从字面意思看来BatchNormalization（简称BN）就是对每一批数据进行归一化，确实如此，对于训练中某一个

batch的数据{x1,x2,...,xn}，注意这个数据是可以输入也可以是网络中间的某一层输出。在BN出现之前，我们的归

一化操作一般都在数据输入层，对输入的数据进行求均值以及求方差做归一化，但是BN的出现打破了这一个规

定，我们可以在网络中任意一层进行归一化处理，因为我们现在所用的优化方法大多都是min-batchSGD，所以我

们的归一化操作就成为BatchNormalization。

我们为什么需要BN？

我们知道网络一旦train起来，那么参数就要发生更新，除了输入层的数据外(因为输入层数据，我