《机器学习Python实战》课件 22-项目11 模型评估与优化知识准备.pptxVIP

?机器学习Python实战?项目11模型评估与优化实战

目录CONTENTS01任务导入从Kaggle排名波动看模型评估的稳定性·科技向善、数据可信02任务目标会交叉验证·会超参数调优·会可信度评估03相关知识交叉验证·超参数调优·分类可信度·ROC/AUC04任务实施动手1：predict_proba概率估计·动手2：ROC/AUC曲线绘制05总结提升核心要点回顾·延伸思考项目11模型评估与优化实战·11.1项目知识准备

任务导入为什么同一模型，换个随机种子就“变脸”？现实·竞赛与业务中的评估困境·Kaggle/天池数据竞赛里，A榜高分模型到B榜可能大幅滑坡。·同一算法、同一数据，仅改变train_test_split的random_state，准确率可相差10%以上。·医疗诊断、金融风控中，一次“运气好”的划分可能让坏模型过关，带来真实风险。思考·我们真正需要什么样的评估·不能让“一刀切”决定模型生死，要把划分随机性“平均掉”。·不能只看准确率，尤其当正类样本极少（欺诈、疾病）时。·模型不仅要给出标签，还要给出“底气”——概率或决策分数。从“一考定终身”到“多轮模拟考”训练集模型的“习题册”

反复打磨参数测试集模型的“高考卷”

只打分不泄题交叉验证轮流当考生/出题老师

平均随机性项目11模