机器学习之模型评估与交叉验证.pptxVIP

技术专题机器学习之模型评估与交叉验证从评估到验证，构建可靠的机器学习模型

内容导览01评估基础为什么需要评估，评估的核心问题02核心指标分类与回归的评估指标体系03交叉验证原理、变体与选择策略04实战应用落地流程、常见误区与最佳实践

CHAPTER01评估基础评估是建模的起点没有评估，模型好坏无从谈起

为什么必须评估模型没有评估，就没有好坏可言，只有一厢情愿的自信“模型训练完成后，最直接的疑问是：它到底好不好用？”—模型训练完成后到底好不好用训练完成后模型训练完成后，最直接的疑问是：它到底好不好用。不只是准不准真实场景评估回答的不只是“准不准”，更关乎模型能否在真实场景中可靠运行。可能完全失效真实数据一个看似训练表现优秀的模型，在真实数据上可能完全失效。靠猜测和拍脑袋模型上线没有评估，模型上线只能靠猜测和拍脑袋。

评估回答的三个核心问题它有多准模型在未见过的数据上表现如何，是评估最直观的第一问。它对谁有效不同类别、不同群体上的表现是否均衡，准确率之外更需要细分观察。它是否稳定换一批数据、换一次划分，结果是否依然可信，这决定了模型的可靠性。

训练误差与泛化误差“模型优化的真正目标是降低泛化误差，而非让训练误差降到零。”训练好不等于真的好，泛化能力才是评估的试金石训练误差模型在训练数据上表现出的误差只反映对已知样本的拟合程度只盯着训练数据，模型很容易学得太用力，反而失去对新样本的适应