机器学习第2章-模型评估与选择.pptxVIP

第2章模型评估与选择

主要内容经验误差与过拟合评估方法性能度量比较检验偏差与方差

误差误差（error）：学习器实际预测输出与样本真实输出之间的差异训练集：训练误差（trainingerror），（经验误差，empiricalerror）训练集的补集：泛化误差（generalizationerror）我们希望泛化误差小的学习器

过拟合过拟合（overfitting）：训练过度使泛化能力下降欠拟合（underfitting）：未能学好训练样本的普遍规律过拟合是机器学习的关键障碍且不可避免！模型误差包含了数据误差，或者说模型信息中包含了噪声。

学习器泛化评估——实验测试

测试方法数学表达注意事项优缺点留出法（hold-out）分层采样（stratifiedsampling）重复试验取平均评估结果测试集小，评估结果方差较大训练集小，评估结果偏差较大交叉验证法（crossvalidation）留一法（Leave-One-Out，LOO）每次使用一个样本验证不受随机样本划分方式影响数据量大时计算量大自助法（bootstrapping）可重复采样/有放回采样数据集较小有用改变初始数据集的分布，引入偏差

调参与最终模型

性能度量

任务需求——以二分类为例

多混淆矩阵

ROC与AUC

代价敏感错误率与代价曲线

比较检验

单个学习器

一个数据集多个学习器

多个数据集和多个学习器

偏差与方差

谢谢！