机器学习__模型选择与评估.pptxVIP

模型评估与选择模型选择针对某个具体的任务，通常会有许多模型可供选择，即使是对同一个模型也会有多组参数可供采用，不同的参数配置往往会产生不同的结果。选择泛化误差最小的模型模型选择训练误差（经验误差）模型在训练集上的误差泛化误差训练好的模型用在新样本上的误差通常泛化误差无法直接获得，而训练误差又存在过拟合现象评估方法训练集数据集测试集D={} ?关键：怎么获得“测试集”(test set) ？测试集应该与训练集“互斥”评估方法训练集和测试集尽量保持数据分布的一致性。留出法训练集数据集交叉验证法测试集自助法（如：500个样本中正例和反例的比为2:3，则在训练集和测试集中正例和反例的比也要求为2:3），只需要采用随机分层抽样即可评估方法训练集和测试集尽量保持数据分布的一致性。留出法训练集数据集若干次随机划分、重复进行实验取平均值作为评估结果。交叉验证法测试集自助法为了减弱随机划分的影响，重复划分训练集和测试集，对得到的多次结果取平均作为最后的结果评估方法训练集和测试集尽量保持数据分布的一致性。留出法训练集数据集若干次随机划分、重复进行实验取平均值作为评估结果。交叉验证法测试集1/5～1/3样本作为测试集。自助法所有数据（分层采样)训练集测试集(100次随机划分)(1/5~1/3)模型选择数据集留出法训练集测试集交叉验证法自助法K个模型选择数据集留出法训练集交叉验证法测试结果1测试结果2自助法测试结果3K个结果的平均…………测试结果k例：10折交叉验证法K个模型选择数据集留出法训练集训练集交叉验证法自助法P次K个结果的平均……相当于做了pk次留出法…………例：10次10折交叉验证法模型选择留一法：K折交叉验证的特例， k=m留出法1个测试样本交叉验证法m-1个样本自助法优点：不受随机样本划分的影响，结果比较准确。缺点：数据集较大时，计算开销难以忍受。小结数据量足够时，选择留出法简单省时，在牺牲很小的准确度的情况下，换取计算的简便；01数据量较小时，我们应该选择交叉验证法，因为此时划分样本集将会使训练数据过少；02数据量特别少的时候，我们可以考虑留一法。03评估方法D’D留出法训练集数据集训练集D估计偏差交叉验证法测试集自助法D\D’评估方法D’D留出法训练集数据集训练集D估计偏差交叉验证法测试集以自助采样为基础自助法D\D’亦称“有放回采样” “可重复采样”评估方法D’D训练集数据集测试集约有 36.8% 的样本不出现训练集与原样本集同规模数据分布有所改变D\D’“包外估计”(out-of-bag estimation)THANKS