回归分析 刘超 第7章 模型选择.pdf

回归分析 ——方法、数据与R的应用 刘超 statchao@buaa.edu.cn 北京航空航天大学数学科学学院 2020年1月20 日 课件仅供教学使用 刘 超 ，回归分析——方法、 数据与R的应用，高等教育 出版社，2019年10月 第7章 模型选择 上课之前的话 需要为数据选择好的回归模型 并不是自变量越多越好,而是尽可能少而精。通常不 能在模型中包含所有可用的变量 • (1) 奥卡姆剃刀原则指出,在一个现象的几个合理的解释中, 最简单的是最 好的。应用于回归分析,这意味着充分拟合数据的最小模型是最好的 • (2) 不必要的自变量会增加估计噪声。在某些情况下,收集附加变量的数 据需要花费更多的时间和金钱,较小的预测模型可能更经济 • (3) 如果自变量在回归模型中全部都使用的话,就会出现多重共线性等问 题。不仅模型的解释可能会很困难, 而且预测性也会降低 当比较潜在模型时,可以使用一些基于标准或者检验 的方法做出选择 目的与要求 (1)理解模型选择的必要性 2 (2)掌握 、C 和AIC等常见的模型选择标准 p (3)掌握逐步回归等基于假设检验的模型选择方法 (4)掌握不同的模型选择方法在R软件中的实现 7.1 基于标准的方法 7.1 基于标准的方法 几种模型选择标准 • 2 • C p • AIC 在回归模型的残差平方和(RSS)和模型复杂 度p之间的平衡(trade-off) 2 7.1.1 统计量 2 2 一个常用的选择标准是第三章介绍的调整后的R ，即 ： 2 RSS / (n − p −1) (1 − R2 )(n −1) R =1 − =1 − a TSS / (n −1) n − − p 1 其中n为样本量, p 为自变量个数, TSS、RSS分别表示总的平方 和与残差平方和 由于R2 =1 − RSS , 向模型添加变量会减少RSS, 因而会增加R2 TSS 2 • R 并不是一个好的标准, 它总会选择最大可能的模型 2 • 通过引进自变量数量p ,对自变量增加进行了约束 2 可以从拟合优度的角度在一系列回归模型中选择 最大的回 归模型作为最优模型 2