模型评估与方法培训课件.pptxVIP

第2章 模型评估与选择;2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.4 比较检验 2.5 偏差与方差;2.2 评估方法;2.2.3 自助法 “自助法”是针对上述缺点的一个比较好的解决方案，它直接以自助采样法为基础。给定包含m个样本的数据集D，我们对它进行采样产生数据集D’：每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将该样本放回初始数据集D中，使得该样本在下次采样时仍有可能被采到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D’，这就是自助采样的结果。 于是我们可将D’用作训练集，D\D’用作测试集；这样，实际评估的模型与期望评估的模型都使用m个训练样本，而我们仍有数据总量约1/3的、没在训练集中出现的样本用于测试。;2.2.4 调参与最终模型 现实中常见的做法，是对每个参数选择一个范围和变化步长，例如在[0,0.2]范围内以0.05为步长，则实际要评估的候选参数值是5个，最终从这5个值中产生选定值。 ;2.3 性能度量 衡量模型泛化能力的评价标准 2.3.1 错误率与精度 错误率是分类错误的样本数占样本总数的比例 精度是分类正确的样本数占样本总数的比例 ;?;“平衡点”（Break-Event Point，简称BEP）,就是查准率与查全率时的取值。;?;2.3.3 ROC和AUC ;ROC全名“受试者工作特征”曲线，以“