机器学习第2章模型评估与选择.pptx

第2章模型评估与选择 主要内容 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 误差 误差（error）：学习器实际预测输出与样本真实输出之间的差异 训练集：训练误差（training error），（经验误差，empirical error） 训练集的补集：泛化误差（generalization error） 我们希望泛化误差小的学习器 过拟合 过拟合（overfitting）：训练过度使泛化能力下降 欠拟合（underfitting）：未能学好训练样本的普遍规律 过拟合是机器学习的关键障碍 且不可避免！ 模型误差包含了数据误差， 或者说模型信息中包含了噪声。 学习器泛化评估——实验测试 调参与最终模型 性能度量 任务需求——以二分类为例 多混淆矩阵 ROC与AUC 代价敏感错误率与代价曲线 比较检验 单个学习器 一个数据集多个学习器 多个数据集和多个学习器 偏差与方差 谢谢！