深度学习案例教程 教案6.4交叉验证原理.docx

04交叉验证原理

1

我们本节课来学习交叉验证。

交叉验证，它是一种强大的模型验证技术，能帮助我们更好的理解模型对未知数据的预测性能。在数据量不足或希望尽可能减小数据分割带来的随机性影响时，这个交叉验证就显得尤为重要。

2

接下来，我们来看一下交叉验证的基本思想是什么。

交叉验证的基本思想是将数据集分为几个部分，通常我们称之为折或者折叠，然后呢进行多轮训练和验证，在每轮中选择一个折作为验证数据，其余折作为训练数据。

最终模型性能的评估就基于各轮验证结果的一个平均值。

3

那么，交叉验证一般分为三个类型。第一个类型是K-折交叉验证。

这是最常见的交叉验证类型，首先将数据集划分为K个大小相等的互斥子集，然后进行K轮训练和测试。每轮中用K-1个子集的并集作为训练集，剩下的那些子集作为验证集。

4

第二个类型是留一交叉验证，这是一种极端的情况。

K-折交叉验证中的K相当于样本数量，对于每一轮，选择一个样本作为验证数据。其余样本作为训练数据。

第三个类型是随机划分交叉验证。

5

随机划分就是每次都随机选取训练集和测试集，它可以进行多次的交叉验证。

6

说了这么多交叉验证的类型，我们来看一下它的优缺点。

交叉验证的主要优点是通过平均多轮验证的结果，我们可以获取模型性能的一个更准确的估计。这就减少了评估结果的方差，因此模型性能的估计更加可靠。

交叉验证的主要缺点就是计算成本比较高，因为需要进行多次训练和验证。此外，如果数据不能很好的划分，交叉验证可能不是很有效。

7

接下来我们来通过一段代码来看这个交叉验证的实际应用。

8

首先还是一样，我们导入对应所需要的包。

9

然后我们假设两个值X和Y是数据和标签，

10

下一步呢，创建了一个随机森林分类器。

11

然后使用我们的cross_val_score这个函数进行5折交叉验证。

将我们对应的这个模型、数据和标签都传进去，cross_val_score函数将数据X和标签Y划分为五个值，然后进行五轮训练和验证，

12

最终输出交叉验证的分数和平均分数。

我们可以通过计算这些分数的平均值来得到模型性能的估计。

13

在PyTorch中，实现交叉验证需要一些手动操作，因为PyTorch并没有像scikit-learn那样的内置交叉验证函数。然而，通过使用数据集划分和数据加载器，我们可以相对容易地实现。

我们来看一下使用PyTorch实现k折交叉验证的示例。

14

首先导入对应所需要的包。

15

然后我们假设有X、Y数据和model模型，

16

下一步呢，定义损失函数和优化器，在这里我们使用CrossEntropyLoss来作为我们的损失函数，使用SGD作为我们的优化器。

17

接着，定义我们的k折数，以及k折交叉验证对象，这里我们仍使用5折交叉验证。

18

定义好后就开始交叉验证的流程了。

每轮循环，先打印当前折数，

19

然后依次定义训练和验证数据子集、数据加载器，

20

接着初始化模型和优化器。

21

然后进行模型的训练。训练的过程在前面章节中已详细说明，这里就不再赘述了。

22

训练完成后呢，进行模型的验证，并打印出每个折中的训练和验证损失。

这就是对于交叉验证的理解，本节的学习就到这里。