深度学习正则化原理与应用.pdfVIP

第9章正则化

图9.1数据集增强示意图

图9.2对应式（9.2）的等变性示意图。如果图像(a)首先被平移得到图像(b)，然后被

分割得到图像(d)，则结果与先将图像(a)分割得到图像(c)，再平移得到图像(d)相同

图9.3二次误差函数与平方和正则化项的误差函数等值线（红色）、正则化

项等值线（绿色），以及两者的线性组合等值线（蓝色）。这里参数空间中的轴已经旋转以

与未正则化误差函数的椭圆等值线的轴对齐。对于，最小误差由表示。当时，

正则化误差函数的最小值向原点移动。这种移动在方向上较大（因为未正

则化误差对参数值相对不敏感），在方向上较小，这是误差与参数值高度相关导致的。

正则化项有效地抑制了对网络预测准确性影响较小的参数

图9.4在具有单一输入、单一线性输出和12个由tanh函数激活的隐藏单元的双层神

经网络中，旨在控制权重和偏置先验分布的超参数的效果示意图

图9.5不同q值的正则化函数的等值线

图9.6未正