SGD 收敛在低精度训练中的步长收缩条件下.pdfVIP

UnderReview

SGD收敛在低精度训练中的步长收缩条件下

Vincent-DanielYunjuyoung.yun@

UniversityofSouthernCalifornia,USA

Abstract

低精度训练已成为降低大规模深度学习计算和内存成本的关键。然而，梯度量化引入了幅度收缩和加

性噪声，这可能改变随机梯度下降（SGD）的收敛行为。在本研究中，我们探讨了在梯度收缩模型下

SGD的收敛情况，其中每个随机梯度被一个因子缩放，并受到零均值量化噪声的影响。我

本们证明这种收缩等同于将名义步长替换为有效步长，当min时会减慢收敛速度。在标

准的平滑性和有界方差假设下，我们证明了低精度SGD仍然可以收敛，但其收敛速率由min决定，

译并且由于量化噪声导致渐近误差地板增加。我们通过将数值精度降低建模为标准SGD收敛框架中的

中梯度收缩来理论分析这种现象如何减缓训练。

1

v

21.介绍

4

1深度学习模型[11]的规模快速增长，而随着互联网的发展，训练数据的数量呈指数级增

7

0长[18]。训练这些大规模模型需要大量的GPU和计算资源[20]。低精度格式（FP16、FP8、

.

8FP4）[3,13,21,25,27]被提出作为全精度（FP32）的替代方案以减少内存使用并加快训练速

0

5度[13]。这些方法在减少计算资源方面有效，但通常比FP32的准确性低，并且可能在更低位

2宽下遇到数值不稳定问题[13,27]。尽管模型收敛[2,7,28],我们认为性能下降的一部分原因

:

v是反向传播过程中梯度的系统性收缩。如果是原始梯度，低精度梯度（FP16，FP8，FP4）可

i

x以写为，其中是缩放因子，是量化噪声。虽然FP16通常与FP32相比

r

a仅导致较小的缩小，但在较低精度（如FP8或FP4）下，收缩变得大得多，从而使学习速度变

慢。这种收缩将步长从减小到eff，这会减慢收敛速度并增加与FP32相比的误差下限。

我们在标准SGD收敛证明[1,10,16]中包含，并明确界定了其影响，为低精度网络的较慢收

敛提供了理论解释，并提出了未来在低精度训练中步长调度策略的指导思路。

2.问题设定

符号约定。我们遵循标准的SGD收敛证明[1]并使用和分别表示标准欧几里得内

积和范数。所有随机源（数据采样和量化）的期望表示为，而在迭代之前的所有随机性的

-代数条件下的期望是。在第次迭代中，随机梯度是，低

精度梯度是，其中收缩因子和量化噪声

minmax

eff

满足和。如果名义步长是，有效步长是