(7.5)--7.5 模型训练策略.pptVIP

ModelTraining模型评估与训练

CHAPTERONE整体方案OverallScheme

一、整体方案三要素——PET模型任务：Task—分类、回归、聚类、异常检测、概率估计经验：Experience—样本、数据、标签、知识、偏好性能：Performance—度量、指标、统计……机器学习—机器根据经验E在任务T上使得性能P得到提升的过程

一、整体方案机器学习整体流程数据采集任务分析模型选择模型训练模型评估性能度量

CHAPTERTWO模型分析AnalysisofModel

二、模型分析经验误差与泛化误差规律：—数据量??越大，经验误差越逼近泛化误差—模型越复杂，经验误差越小，泛化误差越大—训练过程，经验误差一直减小，泛化误差先小后大

二、模型分析过拟合vs.欠拟合欠拟合过拟合?较大的泛化误差???较大的泛化误差??

CHAPTERTHREE误差估计ErrorEvaluation

三、误差估计用测试集估计泛化误差如何估计泛化误差？—收集测试集(Testingset)—统计训练好的模型在测试集上的误差如何构建测试集？—测试集与训练集应满足独立同分布假设(iid)—测试样本应尽可能与训练样本不同如果只有训练集怎么办？?

三、误差估计留出法(hold-out)?分层采样——Stratifiedsampling保持类别比例不变，将原始数据??分为训练集??和测