机器学习第2章 模型评估与选择.pptVIP

Non-Deterministic Polynomial Complete Problems * 回归：预测连续值；分类：预测离散值 * 查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。 P-R曲线：将样本按正例的可能性排序，依次预测所得P、R值对应的曲线。 * * * 给予均方误差的回归任务 * 第2章模型评估与选择 主要内容 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 误差 误差（error）：学习器实际预测输出与样本真实输出之间的差异 训练集：训练误差（training error），（经验误差，empirical error） 训练集的补集：泛化误差（generalization error） 我们希望泛化误差小的学习器 过拟合 过拟合（overfitting）：训练过度使泛化能力下降 欠拟合（underfitting）：未能学好训练样本的普遍规律 过拟合是机器学习的关键障碍 且不可避免！ 模型误差包含了数据误差， 或者说模型信息中包含了噪声。 学习器泛化评估——实验测试 测试方法 数学表达 注意事项 优缺点 留出法 （hold-out） 分层采样（stratified sampling） 重复试验取平均评估结果 测试集小，评估结果方差较大 训练集小，评估结果偏差较大 交叉验证法 （cross validation） 留一法 （Leave-One-Out，LOO） 每次使用一个样本验证 不受随机样本划分方式影响 数据量大时计算量大 自助法 （bootstrapping） 可重复采样/有放回采样 数据集较小有用 改变初始数据集的分布，引入偏差 调参与最终模型 性能度量 任务需求——以二分类为例 多混淆矩阵 ROC与AUC 代价敏感错误率与代价曲线 比较检验 Non-Deterministic Polynomial Complete Problems * 回归：预测连续值；分类：预测离散值 * 查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。 P-R曲线：将样本按正例的可能性排序，依次预测所得P、R值对应的曲线。 * * * 给予均方误差的回归任务 *