基于RAdam优化的稳定性研究报告.docVIP

基于RAdam优化的稳定性研究报告

一、RAdam优化算法的核心机制

RAdam（RectifiedAdam）作为Adam优化算法的改进版本，其核心创新在于引入了对自适应学习率的偏差修正机制，从根本上解决了传统Adam在训练初期因样本量不足导致的学习率波动问题。与Adam算法直接使用指数移动平均计算一阶矩和二阶矩不同，RAdam通过计算随机梯度的分布方差，动态调整学习率的缩放因子。

在数学表达上，RAdam的学习率调整公式可表示为：$$\eta_t=\eta\cdot\frac{\sqrt{1-\beta_2^t}}{1-\beta_1^t}\cdot\max\left(1,\frac{\sqrt{1-\beta_2^t}}{\sqrt{\hat{v}_t}+\epsilon}\right)$$其中，$\beta_1$和$\beta_2$分别为一阶矩和二阶矩的指数衰减率，$\hat{v}_t$为二阶矩的偏差修正估计值。当训练初期样本量较小时，$\hat{v}_t$的方差较大，RAdam会自动增大学习率的缩放因子，避免模型陷入局部最优；随着训练的进行，当样本量足够大时，RAdam的学习率调整策略逐渐趋近于Adam算法，保证训练的效率。

此外，RAdam还引入了“预热阶段”（Warm-up）的概念。在训练开始的前几个epoch，RAdam会使用较小的学习