第七章 带有线性约束的多元线性回归模型及其假设..DOCVIP

第七章 带有线性约束的多元线性回归模型及其假设检验 在本章中，继续讨论第五章的模型，但新的模型中，参数β满足J个线性约束集，Rβ=q，矩阵R有和β相一致的K列和总共J个约束的J行，且R是行满秩的，我们考虑不是过度约束的情况，因此，J＜K。 带有线性约束的参数的假设检验，我们可以用两种方法来处理。第一个方法，我们按照无约束条件求出一组参数估计后，然后我们对求出的这组参数是否满足假设所暗示的约束，进行检验，我们在本章的第一节中讨论。 第二个方法是我们把参数所满足的线性约束和模型一起考虑，求出参数的最小二乘解，尔后再作检验，后者就是参数带有约束的最小二乘估计方法，我们在本章的第二节中讨论。 第一节 线性约束的检验 从线性回归模型开始， （1） 我们考虑具有如下形式的一组线性约束， 这些可以用矩阵改写成一个方程 （2） 作为我们的假设条件。 R中每一行都是一个约束中的系数。矩阵R有和β相一致的K列和总共J个约束的J行，且R是行满秩的。因此，J一定要小于或等于K。R的各行必须是线性无关的，虽然J=K的情况并不违反条件，但其唯一决定了β，这样的约束没有意义，我们不考虑这种情况。 给定最小二乘估计量b，我们的兴趣集中于“差异”向量d=Rb－q。d精确等于0是不可能的事件（因为其概率是0），统计问题是d对0的离差是否可归因于抽样误差或它是否是显著的。 由于b是多元正态分布的，且d是b的一个线性函数，所以d也是多元正态分布的，若原假设为真，d的均值为0，方差为 （3） 对H0的检验我们可以将其基于沃尔德（Wald）准则： = （4） 在假设正确时将服从自由度为J的分布(为什么?)。 直觉上，d越大，即最小二乘满足约束的错误越大，则统计量越大，所以，一个大的值将加重对假设的怀疑。 （5） 由于σ未知，（4）中的统计量是不可用的，用s2替代σ2，我们可以导出一个F[J，（n－K）]样本统计量，令 （6） 分子是（1/J）乘（4）中的W，分母是1/（n－K）乘（5）中的幂等二次型。所以，F是两个除以其自由度的卡方变量的比率。如果它们是独立的，则F的分布是F[J，（n－K）]，我们前边发现b是独立于s2分布的，所以条件是满足的。 我们也可以直接推导。利用（5）及M是幂等的这一事实，我们可以把F写为 （7） 由于 F统计量是的两个二次型的比率，由于M和T都服从正态分布且它们的协方差TM为0，所以二次型的向量都是独立的。F的分子和分母都是独立随机向量的函数，因而它们也是独立的。这就完成了证明。 消掉（6）中的两个σ2，剩下的是检验一个线性假设的F统计量， （8） 我们将检验统计量 和F分布表中的临界值相比较，一个大的F值是反对假设的证据。 注意：将wald统计量中的用去替代，相应的就将J维的卡方分布转换为维度为（J,n-K）的F分布。 第二节 参数带有约束的最小二乘估计 一、带有约束的最小二乘函数 在许多问题中，要求其中的未知参数β满足某特定的线性约束条件：Rβ=q，这里R是J×K矩阵（J＜K），并假定它的秩为J维向量，常常希望求β的估计，使得 （9） 满足条件（9）的称为β的具有线性约束Rβ=q的最小二乘估计。 解的问题实际上是在约束条件 Rβ=q 下求 的限制极值点问题。 这个问题的一个拉格朗日解可写作 解b*和λ将满足必要条件 展开可以得到分块矩阵方程 或 Wd*=v 假定括号中的分块矩阵是非奇异的，约束最小二乘估计量 d*=W-1v where 的解。此外，若X′X是非奇异的，则用分块逆公式可以得到b*和λ的显示解 和 格林和西克斯（1991）表明b*的协方差矩阵简单地就是乘以W-1的左上块，在X′X是非奇异的通常情况下，再一次可以得到一个显性公式 ， 这样， （一个非负定矩阵）， Var[b*]的方差比Var[b]小的一个解释是约束条件提供了更多的信息价值。 二、对约束的检验的另一个方法 令，我们来计算新的离差平方和。 则新的离差平方和是 因为新的模型中参数的个数为k-J个，J个榆树条件是原模型中的J个参数可以被其他k-J个表示。 （此表达式中的中间项含有X′e，它是0）。这说明我们可以将一个约束检验基于拟合的损失。这个损失是， 这出现在前边推导的F统计量的分子上，我们得到统计量的另一个可选形式。 可选形式是 最后，以SST=除F的分子和分母，我们得到第三种形式，