第七章 有线性约束的多元线性回归模型及其假设检验.docxVIP

第七章 带有线性约束的多元线性回归模型及其假设检验 在本章中，继续讨论第五章的模型，但新的模型中，参数B满足J个线性约束集，RB =q，矩阵R有和B相一致的K列和总共J个约束的J行，且R是行满秩的，我们考虑不是 过度约束的情况，因此，JKO 带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按照 无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的约束， 进行检验，我们在本章的第一节中讨论。 第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解， 尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节中讨论。 第一节线性约束的检验 从线性回归模型开始， TOC \o 1-5 \h \z \o Current Document y = X。+ e (1) 我们考虑具有如下形式的一组线性约束， r P + r P +A + r 。 = q 11 1 12 2 1K K 1 r P + r P + A + r P = q 21 1 22 2 2K K 2 M r P + r P +A + r P = q J1 1 J 2 2 JK K J 这些可以用矩阵改写成一个方程 #P =q (2) 作为我们的假设条件H 0 o R中每一行都是一个约束中的系数。矩阵R有和B相一致的K列和总共J个约束的J 行，且R是行满秩的。因此，J 一定要小于或等于Ko R的各行必须是线性无关的，虽然J=K 的情况并不违反条件，但其唯一决定了6,这样的约束没有意义，我们不考虑这种情况。 给定最小二乘估计量b，我们的兴趣集中于“差异”向量d=Rb-qo d精确等于0是不 可能的事件(因为其概率是0)，统计问题是d对0的离差是否可归因于抽样误差或它是否 是显著的。 由于b是多元正态分布的，且d是b的一个线性函数，所以d也是多元正态分布的，若 原假设为真，d的均值为0,方差为 Var[d] = Var[Rb - q] = R(Var[b])R=? 2R(XX)-1R (3) 对H0的检验我们可以将其基于沃尔德(Wald)准则： w = x 2(J) = dr(Var[d])-1 d =(Rb - q)，g 2R(XX)-1 R]-i(Rb - q) (4) 在假设正确时将服从自由度为J的X 2分布(为什么？)。 直觉上，d越大，即最小二乘满足约束的错误越大，则X 2统计量越大，所以，一个大 的X 2值将加重对假设的怀疑。 (n (n 一 K) s 2 b 2 e e b 2 (5) 由于。未知，(4)中的统计量是不可用的，用S2替代。2,我们可以导出一个F[J，(n -K)]样本统计量，令 (6)F _ (Rb - q)[b 2R(XX)-1R，]-i(Rb - q)/J [(n — K) s 2 / b 2]/(n — K) (6) 分子是(1/J)乘(4)中的W，分母是1/ (n-K)乘(5)中的幂等二次型。所以，F是两 个除以其自由度的卡方变量的比率。如果它们是独立的，则F的分布是F[J，(n-K) ]，我 们前边发现b是独立于S2分布的，所以条件是满足的。 我们也可以直接推导。利用(5)及M是幂等的这一事实，我们可以把F写为 (7){R (b-P)/b }[R (XX )-1 R ]-1{R (b )/b}/J (7) [M( [M(8 /b)][M(8 /b)]/(n - K) 由于 R ( R (b -P) b (8} f 8 } R (XX) -1X — —T - F统计量是(8 /b)的两个二次型的比率，由于M(8/b)和T(8 /b)都服从正态分布且 它们的协方差TM为0，所以二次型的向量都是独立的。F的分子和分母都是独立随机向量 的函数，因而它们也是独立的。这就完成了证明。 消掉（6）中的两个。2,剩下的是检验一个线性假设的F统计量， F _ (Rb - q)f[R(XX)-iR，]-1 (Rb - q)l Je e l(n — K) （8）(Rb — q)[ s 2 R (X X)-1R]-1 (Rb — q) （8） 我们将检验统计量 F[J,n — K] _(Rb - q沮R[s2(XX)T]R}-1(Rb 一 q) 和F分布表中的临界值相比较，一个大的F值是反对假设的证据。 注意：将wald统计量中的^ 2用s2去替代，相应的就将J维的卡方分布转换为维度为 （J,n-K）的F分布。 第二节参数带有约束的最小二乘估计 一、带有约束的最小二乘函数 在许多问题中，要求其中的未知参数B满足某特定的线性约束条件：RB=q，这里R是 . . ? JXK矩阵（JVK），并假定它的秩为J维向量，常常希望求6的估计P，使得 Y - xB|2= min |