深度学习问答13：批量归一化BN层作用、原理及添加位置建议.docxVIP

深度学习问答13：批量归一化BN层作用、原理及添加位置建议

一、核心问答正文

问题1：为什么需要引入批量归一化BN？

在前面1-12章节中，我们系统学习了CNN卷积网络、ResNet残差网络、RNN循环网络、Transformer架构，在模型训练相关知识点中，频繁提及梯度消失、训练收敛慢、深层模型难以训练等问题。除了网络架构本身的缺陷，内部协变量偏移是导致深层神经网络训练困难的核心隐性因素。

深层模型训练过程中，每一轮参数更新都会改变上层网络的输出分布；经过多层堆叠传递后，下层网络输入的数据分布会持续剧烈偏移。数据分布不稳定，会直接造成两大难题：一是激活函数极易进入梯度饱和区间，引发层级梯度消失；二是模型学习参数需要持续适配变动的数据分布，收敛速度缓慢、超参数调优难度极高。

为解决内部协变量偏移问题，2015年Google提出批量归一化（BatchNormalization，简称BN）。该层属于深度学习必备通用优化组件，可嵌入CNN、全连接网络等各类前馈模型，无需额外改造网络主体；同时BN层的原理、作用、添加位置、超参数含义，是软考、算法面试、校招笔试的高频基础必考知识点。

问题2：深度解析：内部协变量偏移（ICS）

想要吃透BN层的底层价值，首要理解内部协变量偏移，这也是BN层唯一的优化靶点：

（一）基础定义

神经网络在迭代训练过程中，网络内部隐藏层神经元的输入数据分布，随着