第三十讲交叉验证(CV).PDFVIP

第三十讲. 交叉验证(CV) 2017.6.1 11 交叉验证(CV,Cross-validation) C /AIC/BIC准则都是基于现有数据对预测误差或MSE的In-sample估 p 计。缺陷：有效性的前提是假设已知或可以估计真模型。 通行的而且更可靠的方法是使用新数据（out-of-sample ）测试模型性 能、估计预测误差。模仿建模-预测的过程，将数据分为两部分： •训练样本(training sample): 用来建立模型和预测方法 •检验/测试样本(testing sample): 用来评价训练得到的预测或模型。 Training Testing/Validation 训练 验证 22 leave-one-out CV：总样本量n， 每次将其中一个观察作为测试集， 其它n-1个观察作为训练数据集训练模型，预测测试集的响应变量。 对于线性模型，leave-one-out 的预测误差PRESS： n n 2 e ( ) ˆ 2−i i PRESS ( ) , =− y y ∑ i i ∑ 2 i 1 (1 i 1 ) −hii ˆ ˆ 1 −1~ β利用β − X (X {)e x } - （ ) i 1−h i i ii 缺点： （1）训练数据集太相似； （2 ）测试集太小 33 K K - fold Cross - Validation ： 1 {1,2,, } n K ,...,D (D n/ K) （）将数据点 随机划分为 组 1 K 每组样本量≈ ，