第6-5章variable selection.pdf

第6‐5章Variable Selection 部分Slides参考 Tibshirani: www‐/~tibs/ftp/lassotalk.pdf Chapter 3 of Hastie, Tibshirani and Friedman: Elementary of Statistical Learning Chapter2 of Buhlmann, Statistics for high‐dimensional data 从线性回归谈起 • 令 • 其中 • 如果将Y和Xj 去中心化，则截距项 于 是模型可以简化为 从线性回归谈起 • 记 • 其中X称之为设计矩阵，于是有 回归的含义 • 给定数据 我们希望得到协 变量X和响应变量Y 的函数关系 • 另一个含义：如果把变量X,Y都看成随机变 量，而把数据看成随机变量的实现, 那么 m(x)就是X=x下Y 的期望, 即 • 于是回归的目的就是对函数m(x)进行估计 最小二乘估计 • 定义残差平方和 • 那么最小二乘估计 最小二乘求解 • 求导 • 写成矩阵形式即 最小二乘解 T • 如果矩阵X X可逆，则 • 那么回归函数 帽子矩阵 • 定义帽子矩阵 • L满足 • 那么 最小二乘估计的统计性质 • 无偏性(Unbiased) • 方差(条件： 2 i.i.d, Var()= I ) i n • 故 Gauss‐Markov定理 • Gauss‐Markov定理：所有线性无偏估计中，参 数的最小二乘估计具有最小方差。 • 考虑参数估计的均方误差 • 估计的均方误差和预测误差相关 • 一种可能性：有偏的估计可能具有更小的均方 误差 最小二乘估计的统计性质 • 方差的无偏估计 • 这里自由度减少了p+1个是因为估计了p个 回归系数，加上中心化又减少了一个自由 度。 平方和分解 • 平方和分解 • 其中TSS总偏差平方和; RSS残差平方和( 由随 机误差引起); MSS回归平方和( 由回归的好坏 决定); 回归的评价‐‐判定系数 • R2 • 自由度调整R2 回归方程的检验 • 检验问题 当前无法显示此图像。 • 如果随机误差满足： , 则在H0 下 回归系数的检