深度学习案例教程 教案6.5过拟合原理.docx

05过拟合原理

1

我们本节课来学习过拟合。

什么是过拟合呢？

过拟是在机器学习中非常重要的一个概念。

它发生在模型在训练数据上的表现很好，但在新的或者未见过的数据上的表现却很差的情况下。

过拟合通常是由于模型过于复杂，而导致的。模型可能会“记住”训练数据中的噪声和异常值，而不是学习其潜在的趋势和模式。因此，当模型面对新的数据时，它可能无法准确地进行预测。

2

那我们怎么判断模型是否过拟合了呢？

过拟合的一个主要标志是模型在训练数据上的表现明显好于在验证数据上的表现。如果你看到你的模型在训练数据上的损失随着时间的推移持续降低，但在验证数据上的损失却开始上升，那么你可能遇到了过拟合。

3

我们先来模拟个场景，比如在文本分类的任务中有很多使用场景。

第一个是自动新闻文本分类。

自动新闻文本分类任务是以新闻报道中的文本描述内容为输入，使用模型帮助我们判断它最有可能属于哪一种类型的新闻，这是典型的文本分类问题，我们这里可以假定每种类型是互斥的，也就是说文本描述有且只有一种类型。

再比如，评论文本的情感分类也是文本分类的一种。在评论文本的情感分类任务中，我们要构建一个能够分析社交媒体评论并进行情感分类的模型。我们希望该模型能够区分出评论是正面的、负面的还是中立的。

4

刚刚说的这两种文本分类任务都有可能发生过拟合的情况。过拟合可能会发生在我们的模型过于复杂，或者训练数据太少的情况下。

比如说，如果我们的模型试图学习训练集中每个单词的特定出现，而没有学习到单词之间的更广泛的模式，那么它可能在未见过的数据上就会表现不佳。

5

那如果我们想要防止过拟合，该怎么做呢？

6

过拟合可以通过很多策略来防止，这里我们来看一下比较常见的五个防止过拟合的策略。

首先第一个是使用更简单的模型，过于复杂的模型更容易过拟合。通过选择一个更简单的模型，也就是说具有更少参数或者较小容器的模型可以降低过拟合的风险。

例如，在刚刚的文本分类例子中，我们可以选择使用逻辑回归或朴素贝叶斯分类器，而不是深度神经网络。

7

那第二个是提供更多的训练数据，模型在更大的数据上训练，能够更好的学习数据中的趋势。

而不是噪声。

例如，在刚刚的文本分类例子中，我们可以尽可能收集更多的标注数据，或者使用数据增强技术来人工地增加训练数据的数量。

8

第三个策略是正则化。正则化是一种约束模型复杂度的技术，它在模型的损失函数中添加一个项，用来惩罚模型的复杂度。最常见的正则化形式包括L1正则化和L2正则化。

那在文本分类的例子中，我们可以选择在模型的损失函数中添加一个正则项，用来惩罚模型的复杂度。

9

那第四个过拟合策略叫早停。

在训练过程中，一旦发现模型在验证集上的性能开始下降，就要停止训练。

10

第五个策略是Dropout。

他是神经网络中防止过拟合的常用技术。它在训练过程中随机丢弃一部分神经元，以减少模型的复杂性。

这就是我们防止过拟合的五个策略。

11

接下来，我们来看一个在PyTorch中添加Dropout和L2正则化的例子。

我们可以看到在代码中，我们定义了一个文本分类器的类，在这个初始化的方法里添加了Dropout层，然后呢在前向传播的方法中应用了Dropout层，这就是在PyTorch中添加Dropout的一个示例。

12

然后我们来继续看代码。

先是创建了一个文本分类器，然后在创建优化器的时候添加了L2正则化，也称之为权重衰减。

大家之后可以观察一下模型在训练和验证数据上的表现，以及应用了不同的防止过拟合的策略后有什么变化。

对于过拟合的理解，我们先看到这里。