多元线性回归多元.pptVIP

（4.6.5） 于是可解出 （4.6.6） 其中 为无先验信息下的 最小二乘估计。 在（4.5.5）假定下，数据在观测噗上的拟合值 将变坏，其残差平方和 （4.6.7）与无先验信息时的残差平方和 （4.6.8）相比较变大。其增加量记为SSH，可证明 （4.6.9） 其中 表示无先验信息条件下，预测值 与先验值 之差，而 为 的协方差阵的系数阵。因此，我们也可用F统计量 F(k，fRe)＝MSH/MSRe （4.6.10） 来检验观测值与先验信息的一致性问题。其中MSH＝SSH/k，k为SSH的自由度。当上式中的F检验显著时，我们将重新考虑模型或先验信息的正确性。 二、随机性的先验信息 前面说过，确定性先验信息的使用必须要造成观测值对模型的偏离。例如，我们要估计模型是一条回归直线，若先验信息要求通过一点，这时所有观测值 仅仅用来决定一个斜率。若先验信息要求通过两点，这时所有观测值就毫无作用了。把先验信息看得“太重”而忽视观测值的存在。这是确定性信息的一大缺点。 随机先验信息，把C看作一个观测值，并给出一定的权重。严格地，可以建立这样的统计模型： （4.6.11） 其中ε与e均为随机误差，其均值与协方差矩阵分别为 （4.6.12） 其中由（4.5.2）给出。 利用加权最小二乘法，可得估计 的正规方程： （4.6.13） 于是得到随机信息下回归系数估计 （4.6.14） 与（4.6.6）比较，仅当 →0时，即各 时，两类估计才相等。 可以看作第i个验信息的一种权数，当权数无穷大时，即为确定性的一种信息，所以用（4.6.14）的估计更具有一般性。 在随机信息条件下，其残差平方和增量为 （4.6.15） 可以证明，上述增量小于（4.6.9）式的增量。类似（4.6.10）式，（4.6.15）也可用于检验随机信息与观测值的一般性。 §4.7 多重共线性与有偏估计 在很多实际问题中，由于所选的自变量有较大相关，使正规方程具有病态性，其解极不稳定，这一现象称为多重共线性。下面将主要介绍什么叫多重共线，它对回归系数估计会产生什么影响，以及如何改善回归系数 的估计等问题。 一、多重共线性及其影响 在线性回归模型中，模型的设计阵 （4.7.1） 扮演着重要角色。在前面的讨论中，我们都假定R(X)＝p，即p个自变量在n个观测点上是线性独立的。若X的秩小于p，这时X中的某些列可用另一些列线性表出；换句话说，p个自变量不线性独立，一些变量可用另一些表出，这时我们可把那些能用别的变量表出的自变量从模型中除去，减少一些自变量重新达到满秩