机器学习-第二张.pptVIP

胡鹏 第二章：模型评估与选择 大纲 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 阅读材料 经验误差与过拟合 错误率误差： 错误率: 错分样本的占比： 误差：样本真实输出与预测输出之间的差异 训练(经验)误差：训练集上 测试误差：测试集 泛化误差：除训练集外所有样本 由于事先并不知道新样本的特征，我们只能努力使经验误差最小化； 很多时候虽然能在训练集上做到分类错误率为零，但多数情况下这样的学习器并不好 经验误差与过拟合 过拟合: 学习器把训练样本学习的“太好”，将训练样本本身的特点 当做所有样本的一般性质，导致泛化性能下降 优化目标加正则项 early stop 欠拟合： 对训练样本的一般性质尚未学好 决策树:拓展分支 神经网络:增加训练轮数 经验误差与过拟合 过拟合：学习器把训练样本本身特点当做所有潜在样本都会具有的一般性质. 欠拟合：训练样本的一般性质尚未被学习器学好. 大纲 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 阅读材料 评估方法 现实任务中往往会对学习器的泛化性能、时间开销、存储开销、可解释性等方面的因素进行评估并做出选择 我们假设测试集是从样本真实分布中独立采样获得，将测试集上的“测试误差”作为泛化误差的近似，所以测试集要和训练集中的样本尽量互斥。 评估方法 留出法： 直接将数据集划分为两个互斥集合 训练/测试集划分要尽可能保持数据分布的一致性 一般若干次随机划分、重复实验取平均值 训练/测试样本比例通常为2:1~4:1 评估方法 交叉验证法： 将数据集分层采样划分为k个大小相似的互斥子集，每次用k-1个子集的并集作为训练集，余下的子集作为测试集，最终返回k个测试结果的均值，k最常用的取值是10. 评估方法 与留出法类似，将数据集D划分为k个子集同样存在多种划分方式，为了减小因样本划分不同而引入的差别，k折交叉验证通常随机使用不同的划分重复p次，最终的评估结果是这p次k折交叉验证结果的均值，例如常见的“10次10折交叉验证” 评估方法 自助法： 以自助采样法为基础，对数据集 有放回采样 次得到训练集 , 用做测试集。 大纲 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 阅读材料 性能度量 性能度量是衡量模型泛化能力的评价标准，反映了任务需求；使用不同的性能度量往往会导致不同的评判结果 性能度量 对于分类任务,错误率和精度是最常用的两种性能度量： 错误率：分错样本占样本总数的比例 精度：分对样本占样本总数的比率 分类错误率 精度 性能度量 信息检索、Web搜索等场景中经常需要衡量正例被预测出来的比率或者预测出来的正例中正确的比率，此时查准率和查全率比错误率和精度更适合。 统计真实标记和预测结果的组合可以得到“混淆矩阵” 查准率 查全率 性能度量 根据学习器的预测结果按正例可能性大小对样例进行排序，并逐个把样本作为正例进行预测，则可以得到查准率-查全率曲线，简称“P-R曲线” 平衡点是曲线上“查准率=查全率”时的取值，可用来用于度量P-R曲线有交叉的分类器性能高低 性能度量 比P-R曲线平衡点更用常用的是F1度量： 性能度量 类似P-R曲线，根据学习器的预测结果对样例排序，并逐个作为正例进行预测，以“假正例率”为横轴，“真正例率”为纵轴可得到ROC曲线,全称“受试者工作特征”. 性能度量 若某个学习器的ROC曲线被另一个学习器的曲线“包住”，则后者性能优于前者；否则如果曲线交叉，可以根据ROC曲线下面积大小进行比较，也即AUC值. 假设ROC曲线由 的点按序连接而形成 ，则： AUC可估算为： AUC衡量了样本预测的排序质量。 代价敏感错误率 现实任务中不同类型的错误所造成的后果很可能不同，为了权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”。 代价曲线 在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而“代价曲线”可以。 代价曲线 代价曲线图的绘制：ROC曲线上每个点对应了代价曲线上的一条线段，设ROC曲线上点的坐标为(TPR,FPR),则可相应计算出FNR,然后在代价平面上绘制一条从(0,FPR)到(1,FNR)的线段，线段下的面积即表示了该条件下的期望总体代价；如此将ROC曲线上的每个点转化为代价平面上的一条线段，然后取所有线段的下界，围成的面积即为所有条件下学习器的期望总体代价。 大纲 经验误差与过拟合 评估方法 性能度量 比较检验 偏差与方差 阅读材料 性能评估 关于性能比较： 测试性能并不等于泛化性能 测试性能随着测试集的变化而变化 很多机器学习算法本身有一定的随机性 直接选取相应评估方法在相应度量下比大小的方法不可取！ 假设检验为学习器性能比较提供了重要依据，基于其结果我们可以推断出若