基于AdamW优化的权重衰减研究报告.docVIP

基于AdamW优化的权重衰减研究报告

一、权重衰减的核心机制与传统实现局限

权重衰减（WeightDecay）是深度学习中防止模型过拟合的经典正则化手段，其核心思想是在损失函数中引入模型参数的L2范数惩罚项，通过在梯度更新时对参数进行小幅缩放，抑制参数的过度增长，从而增强模型的泛化能力。在传统的随机梯度下降（SGD）优化器中，权重衰减的实现方式简洁直接：假设原始损失函数为$L(\theta)$，其中$\theta$为模型参数，加入权重衰减后的损失函数可表示为：

$$L_{WD}(\theta)=L(\theta)+\frac{\lambda}{2}|\theta|^2$$

对应的梯度更新公式为：

$$\theta_{t+1}=\theta_t-\eta\cdot\left(\nablaL(\theta_t)+\lambda\theta_t\right)$$

其中$\eta$为学习率，$\lambda$为权重衰减系数。这一实现方式的本质是在参数的原始梯度$\nablaL(\theta_t)$基础上，额外添加一个与参数本身成正比的惩罚项$\lambda\theta_t$，从而在每一步更新中对参数进行“收缩”。

然而，当权重衰减与自适应学习率优化器（如Adam）结合时，传统的实现方式却暴露出显著的局限性。Adam优化器通过计算梯度的一阶矩估计（动量