模型评价与选择理论方法.pptx

模型评价与选择汇报人：安梦颖

010203基本概念理论方法交叉验证CONTENT

01基本概念各种误差的定义偏差—方差分解PARTONE

我们的目的：模型选择(ModelSelection)：估计不同模型的性能，从中选出最好的模型模型评价(ModelAssessment)：对已经选定的模型，估计它在新的数据集上的推广预测误差1.1各种误差的定义

如果数据量很大，模型选择和评估的最好方法是随机地将数据分成三部分：训练集(50%)、验证集(25%)、测试集(25%)（与信噪和模型复杂度有关）训练集：用于拟合模型验证集：用于估计模型预测误差和模型选择测试集：用于评价选中模型的推广误差，用在评价阶段1.11各种误差的定义

如果数据量不足以分成上述三部分时，有以下方法：????统计量AICBICCross-Validation（交叉验证）Bootstrap……1.1各种误差的定义

?1.11各种误差的定义

?1.1?各种误差的定义

?1.1各种误差的定义

????1.11各种误差的定义模型复杂度与模型的预测误差

?1.1各种误差的定义

?1.2偏差方差分解

1.2偏差方差分解

1.2偏差方差分解模型复杂度与偏差、方差的另一种解释

02理论方法Cp统计量AIC准则BIC准则PARTTWO

Cp统计量AIC准则BIC准则2.理论方法?

Cp统计量AIC准则BIC准则2.理论方法?

Cp