第二章__多元线性回归模型的有偏估计.doc

第二章 多元线性回归模型的有偏估计 模型的参数估计依赖于观测样本，样本是随机的(至少Y是随机的)，因此估计量也是随机的，不一定恰好等于被估计参数的真值。但是我们希望多次估计的结果的期望值接近或等于真值，即 这就叫无偏估计。无偏估计被认为是一个估计量应有的优良性质。 但是在一些场合，满足无偏性的估计量却不具备其它应有的优良性，比如说稳定性、容许性。统计学家提出了一些新的估计方法，它们往往不具备无偏性，但在特定场合综合起来考虑还是解决问题较好的。本章就分别介绍这些特定场合下的有偏估计。 第一节 设计矩阵列复共线与岭回归 一、设计矩阵列复共线的影响 上一章最后一节讲的是设计矩阵列向量完全线性相关，|X′X|=0的情况。实际工作中常遇到的是，设计矩阵的列向量存在近似线性相关(称为复共线(multicollinearity))，|X′X|≈0。此时一般最小二乘方法尽管可以进行，但估计的性质变坏，主要是对观测误差的稳定性变差，严重时估计量可能变得面目全非。 例如我们建立二元线性回归模型 （2.1.1） 有关资料在下面运算过程可以看到。看一看原始资料，它近似满足Yi=X1i+X2i, 应该估计出。可是我们调用普通最小二乘回归程序，运算结果却是 （2.1.2） 对现有数据拟合的还挺好，两条曲线几乎成了一条曲