模型评价与方法.pptVIP

2.1 经验误差与 过拟合 2.2 评估方法 2.3 性能度量 2.4 比较检验 2.5 偏差与方差 2.1 经验误差与过拟合 经验误差 VS 泛化误 差 过拟合 VS 欠拟合 2.2 评估方法 2.2.1 、留出法（ hold-out ） 直接将数据集 D 划分为两个互斥的集合。 2.2.2 交叉验证法（ cross validation ） 将数据集 D 划分为 K 个大小相似的互斥子集，每次用 K-1 个 子集的并集作为训练集，余下的子集作为测试集。 缺点比较：我们希望评估的是用 D 训练的模型。但在留出法 和交叉验证法中，由于保留了一部分样本用于测试，因此 实际评估的模型所使用的训练集比 D 小，这必然会引入一些 因训练样本规模不同而导致的估计偏差。 2.2.3 自助法 “自助法”是针对上述缺点的一个比较好的解 决方案，它直接以自助采样法为基础。给定包含 m 个样本的数据集 D ，我们对它进行采样产生数据 集 D ：每次随机从 D 中挑选一个样本，将其拷贝放 入 D ，然后再将该样本放回初始数据集 D 中，使得 该样本在下次采样时仍有可能被采到；这个过程 重复执行 m 次后，我们就得到了包含 m 个样本的数 据集 D ，这就是自助采样的结果