4第三章多元线性回归模型分析(二).pdf

之前我们对线性回归的代数性质进行了分 析。下面将从统计角度对最小二乘估计进行 分析。  我们将在有限样本（n确定且较小）情形下考 虑参数估计的无偏性，以及某些统计量的确 切概率分布。这些结果可能要求一些比较强 的假设条件，例如回归变量的非随机性，残 差序列的正态概率分布等。 在以后的章节中我们将在更为一般的假设下 考虑最小二乘估计的性质，这时随着样本数 量的增加，一些性质则是渐近成立的。 （待 定）  本章中，我们考虑在古典假设下最小二乘估 计的性质。我们始终假设模型的线性结构满 足。  1、线性性  1  b (XX) Xy cy  2、无偏性  1   1   1  b (X X) X y (X X) X (X) (X X) X  现在基于X 取数学期望，则得到：  1   E[b | X]  E[(X X) X | X] 根据假设A3 ，上述公式中的第二项是零，则有： E[b | X]  因此有： E[b] EX {E[b | X]} EX []  3、有效性 最小二乘估计量是所有线性无偏估计量 中方差最小的。 （其证明将借助于估计量方 差的估计） 参数估计量的方差-协方差矩阵和随 机误差项2方差的估计 1、参数估计量的方差-协方差  将参数估计量看作随机量，具有数字特征。  参数估计量的方差以及不同参数估计量之间的协方 差在模型理论中具有重要性。  具体描述如下： 由于矩阵 ˆ       0 0    ˆ      1 1 ˆ ˆ ˆ ˆ ˆ ( )( )   E B B B B E            0  0 1  1 k  k      ˆ     