深度学习中防止神网络过拟合方法.pdfVIP

深度学习系列（11）：神经网络防止过拟

合的方法

过拟合（overfitting）是指在模型参数拟合过程中的问题，由于训练数据包含抽样误差，训练

时，复杂的模型将抽样误差也考虑在内，将抽样误差也进行了很好的拟合。具体表现就是最终模

型在训练集上效果好，而在测试集上的效果很差，模型的泛化能力比较弱。

那为什么要解决过拟合现象呢？这是因为我们拟合的模型一般是用来预测未知的结果（不在训练

集内），过你个虽然在训练集上效果很好，但在实际使用时（测试集）效果很差。同时，在很多

问题上，我们无法穷尽所以状态，不可能将所有情况都包含在训练集上。所以，必须要解决过拟

合问题。

之所以过拟合在机器学习中比较常见，就是因为机器学习算法为了满足尽可能复杂的任务，其模

型的拟合能力一般远远高于问题复杂度，也就是说，机器学习算法有“拟合出正确规则的前提

下，进一步拟合噪声”的能力。

过拟合主要是有两个造成的：数据太少+模型太复杂。所以，我们可以通过使用合适复杂度

的模型来防止过拟合问题，让其足够拟合真正的规则，同时又不至于拟合太多抽样误差。

通过上图可以看出，随着模型训练的进行，模型的复杂度会增加，此时模型在训练数据集上的训

练误差会逐渐减小，但是在模型的复杂度达到一定程度时，模型在验证集上的误差反而随着模型

的复杂度增加而增大。此时便发生了过拟合