异方差的解决方法.pptVIP

* §5.4 异方差性问题的解决方法 一、对原模型进行变换 设原模型为 (5.4.1) 其中ui具有异方差性(其余假定都满足)。假定现在已知 (5.4.2) 其中k2为常数。现在的问题是经典假定遭到了破坏的 情况下，如何求出参数α、β的最佳线性无偏估计量? 解决这个问题的基本想法是对原模型(5.4.1)作适当 的变换，使变换后的随机项不再具有异方差，从而 可用OLS法求出参数的最佳线性无偏估计量。 用 去除(5.4.1)式两端，则得到新的模型： (5.4.3) 记 (5.4.4) 则模型(5.4.3)变为 (5.4.5) (5.4.5)中的参数α和β即原模型中的参数，但是随 机项 已经没有异方差性了。因为： 因此，对模型(5.4.5)应用OLS法，即可得出参数 α、β的最佳线性无偏估计量，问题得以解决。 例5.4.1 设模型(5.4.1)中ui的异方差结构为 (这是一种最常见的异方差结构)，求α、β的最佳 线性无偏估计量。 在本例中 ， ，用 xi 去除(5.4.1) 式各项，得 改写成 其中 由于变换后的模型中的随机项 已没有异方差， 应用OLS法得α和β的最佳线性无偏估计量： 二、加权最小二乘法(WLS) 在OLS法中，其基本原则是使残差平方和 (5.4.6) 达到最小，这是对满足经典回归假定而言，也就 是在等方差的情况下进行的。当随机项具有异方差 时，用 作为εi2的权数是合理的。 现在我们可以用权数将普通最小二乘法修正为： 使加权残差平方和 (5.4.7) 达到最小。这就是加权最小二乘法。 下面我们说明，这种加权最小二乘法同样可以消除 异方差性的影响。 设异方差是xi的函数 (5.4.8) 将(5.4.8)代入(5.4.7)得加权最小二乘法，要求 (5.4.9) 达到最小。 现在对原模型(5.4.1)作变换： (5.4.3) 对(5.4.3)应用普通最小二乘法，要求残差平方和： (5.4.10) 最小。显然，能使(5.4.10)达到最小的 也一定 能使(5.4.9)式达到最小，因为二者只差一个常数因子。 即两种方法得到的结果相同。两种方法实质上是一回 事。对原模型进行变换的方法实际上是加权最小二乘 法当 时的特例，也可以看作是加权最小二乘法 的直接应用。 三、广义最小二乘法 ( GLS ) 广义最小二乘法是处理广义线性模型的一种估计方法。 广义线性模型是指线性模型 (5.4.11) 并且有 (5.4.12) 其中 为未知常数，Ω是一个已知的n×n阶正定 对称矩阵： (5.4.13) 其它基本假定不变，称之为广义线性模型。 若将Ω换成In，则模型(5.4.11)就变成一般古典线性模型。 由于Ω为正定对称矩阵，必存在一个(n×n)阶非奇异矩 阵P，使得 (5.4.14) 且有 (5.4.15) 利用矩阵P对原模型进行变换，用P左乘(5.4.11)得， (5.4.16) 令 (5.4.17) 则(5.4.16)变为 (5.4.18) 此时 (5.4.19) 可见，变换后的模型(5.4.18)，已满足全部基本假定， 可以对模型(5.4.18)应用普通最小二乘法，求得β的 广义最小二乘估计量为 (5.4.20) 将(5.4.17)代入(5.4.20) (5.4.20)′ (5.4.20)(或(5.4.20)′)称为广义最小二乘估计式。这种 将原模型(5.4.11)进行适当变换，变为模型(5.4.18)， 然后对新模型(5.4.18)应用普通最小二乘法，求得参数 估计量，称作对原模型的广义最小二乘法，记作GLS。 当Ω = In时， (5.4.21) 此时广义最小二乘法就是普通最小二乘法。 参数的协方差矩阵 (5.4.22) (5.4.23) 其中ε为广义最小二乘估计量所对应的模型(5.4.11) 的样本残差。 四、广义最小二乘法的应用之一 —— 异方差问题的处理 设模型 (5.4.24) 或 假定随机项存在异方差，即 (5.4.25) 其余条件皆满足基本假定，此时u的方差协方差矩阵 具有对角形式： (5.4.26) 因为Φ是对角阵，所以 是 (5.4.27) 于是 (5.4.28) 便有 (5.4.29) 作变换 (