__多元线性回归模型的有偏估计.doc

第二章 多元线性回归模型的有偏估计 模型的参数估计依赖于观测样本，样本是随机的(至少Y是随机的)，因此估计量也是随机的，不一定恰好等于被估计参数的真值。但是我们希望多次估计的结果的期望值接近或等于真值，即 这就叫无偏估计。无偏估计被认为是一个估计量应有的优良性质。 但是在一些场合，满足无偏性的估计量却不具备其它应有的优良性，比如说稳定性、容许性。统计学家提出了一些新的估计方法，它们往往不具备无偏性，但在特定场合综合起来考虑还是解决问题较好的。本章就分别介绍这些特定场合下的有偏估计。 第一节 设计矩阵列复共线与岭回归 一、设计矩阵列复共线的影响 上一章最后一节讲的是设计矩阵列向量完全线性相关，|X′X|=0的情况。实际工作中常遇到的是，设计矩阵的列向量存在近似线性相关(称为复共线(multicollinearity))，|X′X|≈0。此时一般最小二乘方法尽管可以进行，但估计的性质变坏，主要是对观测误差的稳定性变差，严重时估计量可能变得面目全非。 例如我们建立二元线性回归模型 （2.1.1） 有关资料在下面运算过程可以看到。看一看原始资料，它近似满足Yi=X1i+X2i, 应该估计出。可是我们调用普通最小二乘回归程序，运算结果却是 （2.1.2） 对现有数据拟合的还挺好，两条曲线几乎成了一条曲线 (图2.1.1.1)，F值为303744，但是代入X1=0, X2=10,预测值却为15.66，这与原模型应有的预测值10相距甚远。 ------------------------------------------------------------------------------------------------------------------------- 岭回归与岭迹图计算程序, 例 2.1.4 例214.D 数据文件中, n=8, M=2 要显示原始资料吗? 0=不显示, 1=显示 2.0100 .9900 1.0100 1.9900 1.0200 .9900 4.0100 2.0300 1.9900 5.9900 2.9700 3.0100 8.0100 3.9600 4.0100 7.9900 4.0100 3.9900 10.0100 5.0400 4.9900 11.9900 6.0500 5.9900 正规方程系数矩阵的行列式的值是 2.12162 请输入工作参数, 0=普通回归, 1=岭回归, 2=计算岭迹 （0） 现在作线性回归显著性检验, 计算t,F,R 统计量 请输入显著性水平a, 通常取a=0.01, 0.05, 0.10, a=? （0.05） ----------------------------------------------------- 线 性 回 归 分 析 计 算 结 果 样本总数 8 自变量个数 2 ----------------------------------------------------- 回归方程 Y = b0+b1*X1+...+b2*X2 Y = .0033 + .4330 X1 + 1.5660 X2 回归系数 b0, b1, b2, ..., b2 .0033 .4330 1.5660 ----------------------------------------------------- 残差平方和: .00 回归平方和: 93.92 误差方差的估计 : .0001 标准差 = .0098 ----------------------------------------------------- 线 性 回 归 显 着 性 检 验 显著性水平 : .050 ----------------------------------------------------- 回归方程整体显著性F检验, H0:b0=b1=...=b2=0 F统计量: 303744.5000 F临界值F(2, 5) 5.786 全相