大模型面试题-2-Layer normalization 篇.pdf

Layernormalization篇

来自：AiGC面试宝典

2023年09月29日12:37

Layernormalization-方法篇

一、LayerNorm篇

1.1LayerNorm的计算公式写一下？

二、RMSNorm篇（均方根Norm）

2.1RMSNorm的计算公式写一下？

2.2RMSNorm相比于LayerNorm有什么特点？

RMSNorm简化了LayerNorm，去除掉计算均值进行平移的部分。

对比LN，RMSNorm的计算速度更快。效果基本相当，甚至略有提升。

三、DeepNorm篇

3.1DeepNorm思路？

DeepNorm方法在执行LayerNorm之前，up-scale了残差连接(alpha1)；另外，在初始化阶段down-scale了模

型参数(beta1)。

3.2写一下DeepNorm代码实现？

DeepNorm有什么优点？

DeepNorm可以缓解爆炸式模型更新的问题，把模型更新限制在常数，使得模型训练过程更稳定。

Layernormalization-位置篇

1LN在LLMs中的不同位置有什么区别么？如果有，能介绍一下区别么？

回答：有，LN在LLMs位置有以下几种：

1.PostLN：

a.位置：layernorm在残差链接之后

b.缺点：PostLN在深层的梯度范式逐渐增大，导致使用post-LN的深层transformer容易出现训练不稳

定的问题

2.Pre-LN：

a.位置：layernorm在残差链接中

b.优点：相比于Post-LN，PreLN在深层的梯度范式近似相等，所以使用Pre-LN的深层transformer训

练更稳定，可以缓解训练不稳定问题

c.缺点：相比于Post-LN，Pre-LN的模型效果略差

3.Sandwich-LN：

a.位置：在pre-LN的基础上，额外插入了一个layernorm

b.优点：Cogview用来避免值爆炸的问题

c.缺点：训练不稳定，可能会导致训练崩溃。

Layernormalization对比篇

LLMs各模型分别用了哪种Layernormalization？

BLOOM在embedding层后添加layernormalization，有利于提升训练稳定性:但可能会带来很大的性能损失