回归分析 刘超 第8章 收缩方法.pdf

回归分析 ——方法、数据与R的应用 刘超 statchao@buaa.edu.cn 北京航空航天大学数学科学学院 2020年1月20 日 课件仅供教学使用 刘 超 ，回归分析——方法、 数据与R的应用，高等教育 出版社，2019年10月 第8章 收缩方法 上课之前的话 更多的自变量应该意味着更多信息，但成本也高 若只有少数自变量有影响, 可以节省获取数据的成本 通过对回归系数进行收缩,在尽量保留自变量的基础上 获得好的模型 本章将介绍以下几种方法 • 岭回归 • Lasso • 自适应Lasso • 主成分回归 • 偏最小二乘回归 目的与要求 (1)了解为什么要进行收缩估计 (2)理解模型收缩方法实质上是模型选择方法 (3)掌握几种典型的模型收缩方法 (4)掌握模型收缩方法在R软件中的实现 8.1 岭回归 8.1 岭回归 岭回归(ridge regression)由Hoerl和Kennard于1970年提出 ，是一种有偏估计，是对最小二乘估计的改进，也是惩罚回 归的一种 假设自变量已经标准化，因变量已经中心化。通过添加系 T −1 T ˆ 数的L 惩罚项= ( X X 来修正残差平方和 2 +I ) X y T 2 (y -Xβ) (y -Xβ)+λ∑ , 其中λ(≥0)为岭参数 =1 对修正的残差平方和最小化获得β的岭回归估计: T −1 T ˆ = ( X X +I ) X y T λI在矩阵X X 里面引入一个 “岭”,因此该方法取名岭回归 8.1 岭回归 该方法的一个等价表达式是选择β来最小化: T 2 (y -Xβ) (y -Xβ) st ∑ ≤t =1 መ መ 显然,λ 0对应于最小二乘估计 ,而λ→∞时, →0