- 6
- 0
- 约1.96千字
- 约 23页
- 2018-11-29 发布于江苏
- 举报
模型评估与办法
第2章 模型评估与选择;2.1 经验误差与过拟合
2.2 评估方法
2.3 性能度量
2.4 比较检验
2.5 偏差与方差;2.1 经验误差与过拟合;2.2 评估方法;2.2.3 自助法
“自助法”是针对上述缺点的一个比较好的解决方案,它直接以自助采样法为基础。给定包含m个样本的数据集D,我们对它进行采样产生数据集D’:每次随机从D中挑选一个样本,将其拷贝放入D’,然后再将该样本放回初始数据集D中,使得该样本在下次采样时仍有可能被采到;这个过程重复执行m次后,我们就得到了包含m个样本的数据集D’,这就是自助采样的结果。
于是我们可将D’用作训练集,D\D’用作测试集;这样,实际评估的模型与期望评估的模型都使用m个训练样本,而我们仍有数据总量约1/3的、没在训练集中出现的样本用于测试。;2.2.4 调参与最终模型
现实中常见的做法,是对每个参数选择一个范围和变化步长,例如在[0,0.2]范围内以0.05为步长,则实际要评估的候选参数值是5个,最终从这5个值中产生选定值。
;2.3 性能度量
衡量模型泛化能力的评价标准
2.3.1 错误率与精度
错误率是分类错误的样本数占样本总数的比例
精度是分类正确的样本数占样本总数的比例
;?;“平衡点”(Break-Event Point,简称BEP),就是查准率与查全率时的取值。;?;2.3.3 ROC和AUC
;ROC全名“
原创力文档

文档评论(0)