《Python数据挖掘与机器学习》课件-第29-32章.pptxVIP

单击此处添加标题汇报人：XXXXX年XX月XX日

目录CONTENTS模型评估与选择集成学习进阶无监督学习与聚类降维与特征工程深度学习基础模型综合案例：电商用户流失预测

PART.01单击此处添加章节标题

交叉验证法与留出法实现留出法基础应用将数据集按特定比例划分为训练集与测试集，常采用70%训练与30%测试的比例，用于快速评估模型在新数据上的泛化能力。K折交叉验证将数据集分为大小相似的K个子集，每次用K-1个子集训练，剩余1个子集验证，重复K次取平均值，能提供更平滑稳定的性能估计。留一法特殊场景当样本量极小且模型训练极快时，每次仅留一个样本作为验证集，重复n次，可用于观察单样本对泛化误差的单独贡献。

通过计算真正例与真反例占总样本数的比例评估整体分类正确性，适用于类别分布均衡的场景，但在数据倾斜时可能掩盖少数类的预测缺陷。通过绘制真正例率与假正例率的关系曲线并计算面积，评估分类器在不同阈值下的整体性能，提供对模型泛化能力的平滑无偏估计。在模型评估中，需根据数据分布与任务目标选择合适的性能度量指标，以全面客观地反映模型的预测能力与泛化水平，避免单一指标带来的评估偏差。准确率计算结合精确率与召回率，计算两者的调和平均数，有效衡量模型在正类预测上的综合表现，特别适用于处理类别不平衡数据时的评估需求。F1值综合评估AUC与ROC曲线性能度量指标（准确率、F1、AUC）

偏差与方差权衡分析