上课材料之九.docVIP

第八章 古典线性回归的大样本理论 迄今为止的讨论涉及了最小二乘估计量的有限样本性质。根据非随机回归量和扰动项正态分布这两个假设，我们知道了最小二乘估计量的精确分布和一些检验统计量。 在本章中，我们去总结前一章关于最小二乘法的有限样本特性，然后我们重点讨论古典回归模型的大样本结果。 第一节 最小二乘法的有限样本特性 古典回归模型的基本假设是 Ⅰ.y=Xβ+ε。 Ⅱ.X是秩为K的n×K非随机矩阵。 Ⅲ.E[ε]=0。 Ⅳ.E[εε′]=σ2I。 未知参数β和σ2的最小二乘估计量是 和 通过分析 并且 我们可得下列精确的有限样本结果： 1. E[b]=β（最小二乘估计是无偏的） 2. Var[b]=σ2(X′X)-1 3. 任意函数r′β的最小方差线性无偏估计量是r′b。（这就是高斯—马尔科夫定理） 4. E[s2]=σ2 5. Cov[b,e]=0 为了构造置信区间和检验假设，我们根据正态分布的假设 推导额外了的结果，即 6. b和e在统计上是相互独立的。相应的，b和s2无关并在统计上相互独立。 7. b的精确分布依赖于X，是。 8. 的分布是。s2的均值是σ2，方差是2σ4/（n－K）。 9. 根据6至8结果，统计量服从自由度为n－K的t分布。 10. 用于检验一组J个线性约束Rβ=q的检验统计量 服从自由度为J和n－K的F分布。 注意，利用I至IV建立起来的b的各种性质和根据扰动项更进一步的正态分布假设而得到的额外推断结果之间的区别。第一组中最重要的结果是高斯—马尔科夫定理，它与扰动项的分布无关。根据正态分布假设得到的重要的附加结果是7、8、9、10。正态性没有产生任何额外的有限样本的最优性结果。（没有得出额外的有关统计量好坏的结论） 第二节 古典回归模型的渐近分布理论 为什么要用大样本理论？ 在OLS的方法中，我们如果用数据得到的wald统计量： ～ 通不过检验，即假设不满足，这样的话我们就不能用OLS完成相关的假设检验问题，所以我们要用到中心极限定理：在n足够大的情况下，Y 和 都服从正态分布。这样，相应的判别估计量好坏的方法和标准要捉相应的调整，其中重要的概念是一致估计量。虽然估计量有可能相同，但我们关心的是他们的一致性，而不是无偏性。 所以我们要区分那些结论是可以在没有正态性的假设下仍然成立的，利用这些条件来推断最小二乘系数估计量的一致性。 对于满足I到IV假设的模型，可以直接推导大样本最小二乘估计量的特性。 最小二乘系数向量的一致性 复习：依概率分布 定理 从具有有限均值μ和有限方差的任何总体中抽取的随机样本的均值都是μ的一个一致估计量。 证明：，所以，依均方收敛于μ，或。 斯拉茨基定理（Slutsky） 对一个不是n的函数的连续函数g(xn)，有 假设 是正定矩阵， （1） 这个假设在大多数时候是不过份的，考虑一元的情况： X= (我们知道，p p). which is positive definite as its principal submatrices all have positive determinants. 最小二乘估计量可以写成 （2） 假设Q-1存在，因为逆矩阵是原矩阵的连续函数，我们得到 现在我们需要最后一项的概率极限。令 ，其中,为的列向量 那么 且 因为，X是非随机矩阵，所以 且 于是可得 由于的均值是0，并且它的方差收敛于0，所以按均方收敛于0，且。 （下面定理揭示了r-阶收敛与依概率收敛的关系 定理8 。） 因此 （4） 所以 （5） 这表明了在古典回归模型中，在假设（1）条件下b是β的一致估计量。 二、最小二乘估计量的渐近正态性 为了导出最小二乘估计量的渐近分布，利用以前结果可得 由于逆矩阵是原矩阵的连续函数，。因此，如果极限分布存在，则统计量的极限分布与下式相同： （6a） 因此，我们必须建立下式的极限分布， 其中。我们可以利用林德伯格-费勒形式的中心极限定理得到的极限分布。利用定理中的表达式， 是n个互不相关的随机向量的平均值，其中, εi的均值为0，方差为 的方差 只要总和不被任一特定项占据主导地位并且回归量表现良好，在这种情况中，这意味着（1）成立，则 Var()=Var()= 下列结果的正式证明是根据林德伯格-费勒形式的中心极限定理，由施密特（1976）和怀特（1984）给出。如果 1. 扰动项都服从具有零均值和有限方差的同样的分布。 2. X的元素受到限制使得有限并且是一个有限正定矩阵。则 （6） (这也是为什么我们要假