中级计量经济学讲义_第五章多元线性回归模型.docVIP

第五章 多元线性回归模型 在第四章中，我们讨论只有一个解释变量影响被解释变量的情况，但在实际生活中，往往是多个解释变量同时影响着被解释变量。需要我们建立多元线性回归模型。 一、多元线性模型及其假定 多元线性回归模型的一般形式是 令列向量x是变量xk，k=1，2，的n个观测值，并用这些数据组成一个n×K数据矩阵X，在多数情况下，X的第一列假定为一列1，则β1就是模型中的常数项。最后，令y是n个观测值y1, y2, …, yn组成的列向量，现在可将模型写为： 构成多元线性回归模型的一组基本假设为 假定1. 我们主要兴趣在于对参数向量β进行估计和推断。 假定2. 假定3. 假定4. 我们假定X中不包含ε的任何信息，由于 （1） 所以假定4暗示着。 （1）式成立是因为，对于任何的双变量X，Y，有E(XY)=E(XE(Y|X))，而且 这也暗示 假定5 X是秩为K的n×K随机矩阵 这意味着X列满秩，X的各列是线性无关的。 在需要作假设检验和统计推断时，我们总是假定： 假定6 二、最小二乘回归 1、最小二乘向量系数 采用最小二乘法寻找未知参数β的估计量，它要求β的估计满足下面的条件 （2） 其中，min是对所有的m维向量β取极小值。 也即 （3） 满足（2）式或（3）式的估计量称为β的最小二乘估计，这种求估计量的方法称为最小二乘法（OLS）。 展开上式得 或 最小值的必要条件是 设b是解，则b满足正则方程组 这正是我们曾分析的最小二乘正则方程组。因为X是满秩的，所以的逆存在， 从而得到解是 为了证实这确实是最小值，我们需要二阶编分矩阵 是一个正定矩阵。 我们现在来证明这个结果。对任意一非零向量c，令，则 除非的每一元素都为0，否则q是正的。但若为零的话，则X的各列的一个线性组合等于0，这与X满秩的假定相矛盾。 三、最小二乘估计量的统计特性 在本节中，我们对回归量的两种情况，即非随机回归量和随机回归量下分别作讨论。 1、X非随机回归量 若回归量当作非随机来进行处理时，则将X当作常数矩阵处理就可导出最小二乘估计量的各种特性。可得 （4） 若X是非随机的，或，则（4）中第二项的期望值是0。所以，最小二乘估计量是无偏的，它的协方差矩阵是 在前面的内容中，对K=2的特殊b是β的最小方差的线性无偏估计量。现在我们给出这个基本结果的一个更一般的证明，令的另一个不同于b的线性无偏估计量，其中C是一个K×n矩阵。若是无偏的， 这暗示着CX=I，并且。所以可以得到的协方差矩阵是 现在令，由假设知D≠0。（那么， 于是是非负定矩阵。） 则 在展开这个四项和式之前，我们注意到 由于上面最后一项是I，有DX=0，所以 的方差矩阵等于b的方差矩阵加上一个非负定矩阵。所以，的每个二次型都大于的相应二次型。 利用这个结果可以证明高斯-马尔科夫定理： 高斯—马尔科夫定理： 对任意常向量w，古典线性模型中的最小方差线性无偏估计量是，其中b是最小二乘估计量。 2、X随机回归量 在这样的情况下，为了得到最小二乘估计量特性更多的一般性，有必要将上面的结果推广解释变量X是来自某种概率分布的情况中去。获得b的统计特性的一个方便的方法是，首先，第一步求得对X的条件期望结果，这等同于非随机回归量的情况，第二步，通过条件分布得到无条件结果。此论点的关键是，如果我们对任意X都可能得到条件无偏性，我们就可以得到一个无条件结果。 因为 所以，以观测到的X为条件我们得到 一个有用的方法是利用重期望定律 因为由假定4有，所以，b也是无条件无偏的，这样， 。 同样，以X为条件的b的方差是 为了求得确切的方差，我们使用方差分解公式： 由于对所有X，，所以第二项为零，因此， 我们原来的结论要稍作改变，我们必须用其期望值E[(X′X)-1]来代替原来以得到适当的协方差矩阵。 从上一段的结果可以合乎逻辑地建立高斯—马尔科夫定理， 即对任何，在X给定的条件下有 但若这一不等式对一特定X成立，则必须成立： 即，若它对每一特定X成立，则它一定对X的平均值也成立。这暗示，≤。 所以，不论我们是否将X看作是随机的，即无偏性和高斯—马尔科夫定理都成立。 四、最小二乘估计量的统计推断 迄今为止，在我们任一结果还未用到ε的正态性的假定6，但这一假定对构造假设检验的统计量是有用的和必须的。 1、回归系数的假设检验 我们先讨论X非随机变量时的情况。 在（4）中，b是干扰向量ε的一个线性函