chapter3多元线性回归模型的有偏估计.pdfVIP

第三章 多元线性回归模型的有偏估计 前面两章讲的线性模型（一元的、多元的），其参数估计采用的是最小二乘估计，都是无 偏估计。无偏估计的概念是什么呢？回归模型的参数估计依赖于观测样本，样本是随机的(至 少Y 是随机的) ，因此估计量也是随机的，不一定恰好等于被估计参数的实际值。但是我们希 望多次估计的结果的期望值接近或等于实际值，即无偏估计： ˆ 2 ˆ 2 β β ) σ ,E (σ( E ) 无偏性被认为是一个估计量应有的优良性质，前面两章讲到的都是无偏估计。 但是在一些场合，满足无偏性的估计量却不具备其它应有的优良性，比如说稳定性、容 许性、均方误差等。统计学家提出了一些新的估计量，它们往往不具备无偏性，但在特定场 合综合起来考虑还是解决问题较好的。 本章考虑的特定场合，就是回归模型设计矩阵X 的列向量复共线，即列向量近似线性相 ′ ′ ′ | | X0X ≈ X X 的特征根为, , λ ,λ Lλ ，我们知道| X| X 关，这将导致行列式 。设矩阵 1 2 p ˆ ˆ 2 λλ Lλ ，此时至少有一个λ ≈0 ；我们可以证明均方误差MSE (β) 1 2 p i =− Eβ(|| β || ) ′ −1 p 1 ˆ tr( X X ) ∑ ，于是此时均方误差MSE (β) 很大，这项统计性质很坏。 λ i 1 i 改进办法是将模型的最小二乘解 ′ˆ ′ −1 改进为岭估计 ˆ ′ X X(β X)Y (β)k X(X + −1 ′ 。它不再是无偏估计，但是均方误差变好。选择岭参数 的原则应该是尽可能小 kI X Y p ) k ˆ 的 能使 尽量稳定下来，要对此作出判断，观察岭迹图是个好办法。 k β 改进均方误差的办法还有主成分回归，其办法是对自变量X 作线性组合，得到一组新的 变量Z ，新的变量个数要比原来变量个数少一些，同时去掉那些与近似为 0 的特征根所对应 ′ 的组合变量。所谓第一主成分变量是取X X 的最大特征根λ 所对应的特征向量 p 而得到的 1