Pytorch学习笔记-权重衰减.pdfVIP

Pytorch学习笔记-权重衰减

虽然增⼤训练数据集可能会减轻过拟合，但是获取额外的训练数据往往代价⾼昂。应对过拟合问题的常⽤⽅法：权重衰减（weight

decay）。

⽅法

权重衰减等价于L2范数正则化（regularization）。正则化通过为模型损失函数添加惩罚项使学出的模型参数值较⼩，是应对过拟合的常⽤

⼿段。⾸先描述L2L_2L2范数正则化，再解释它为何⼜称权重衰减。

范数正则化在模型原损失函数基础上添加范数惩罚项，从⽽得到训练所需要最⼩化的函数。范数惩罚项指的是模型权重参数每个元

L2L2L2

素的平⽅和与⼀个正的常数的乘积。以线性回归中的线性回归损失函数为例：

n

∑

11

i=1(1(i)(i)(i))2

ℓ(w,w,b)=xw+xw+b−y

12n2122

其中,是权重参数，是偏差参数，样本的输⼊为(i)样本数为。将权重参数⽤向量表⽰，带有范数惩罚项的新损失

wwbiynw=[w1,w2]L

122

函数为

λ

ℓ(w,w,b)+∥w∥2

122n

其中超参数。当权重参数均为0时，惩罚项最⼩。当较⼤时，惩罚项在损失函数中的⽐重较⼤，这通常会使学到的权重参数的元素较

λ0λ

接近0。当设为0时，惩罚项完全不起作⽤。上式中范数平⽅2展开后得到22有了范数惩罚项后，在⼩批量随机梯度下降

λL2∥w∥w+w12L2

中，我们将线性回归⼀节中权重和的迭代⽅式更改为

ww

12

w1←(1−∣B∣ηλ)w1−∣B∣η∑i∈Bx1(i)(x1(i)w1+x2(i)w2+b−y(i))w2←(1−∣B∣ηλ)w2−∣B∣η∑i∈Bx2(i)(x1(i)

w1+x2(i)w2+b−y(i))

可见，范数正则化令权重和先⾃乘⼩于1的数，再减去不含惩罚项的梯度。因此，范数正则化⼜叫权重衰减。权重衰减通过惩罚

LwwL

2122

绝对值较⼤的模型参数为需要学习的模型增加了限制，这可能对过拟合有效。实际场景中，有时也在惩罚项中添加偏差元素的平⽅和。

⾼维线性回归实验