多元线性回归方程的建立mlm9py.docxVIP

/yunhaic/article/details/4321455多元线性回归方程的建立建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解?使全部观测值?与回归值?的残差平方和达到最小值。由于残差平方和?（2-2-5）?是?的非负二次式，所以它的最小值一定存在。 根据极值原理，当Q取得极值时，?应满足 由（2-2-5）式，即满足?（2-2-6） (2-2-6）式称为正规方程组。它可以化为以下形式?（2-2-7） 如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有?（2-2-8）??式中X是多元线性回归模型中数据的结构矩阵，?是结构矩阵X的转置矩阵。?(2-2-7)式右端常数项也可用矩阵D来表示?即? 因此(2-2-7)式可写成Ab=D???????????（2-2-10）?或?（2-2-11）如果A满秩（即A的行列式??）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得?的最小二乘估计为?（2-2-12）?也就是多元线性回归方程的回归系数。 为了计算方便往往并不先求??，再求b，而是通过解线性方程组(2-2-7)来求b。(2-2-7)是一个有p+1个未知量的线性方程组，它的第一个方程可化为?（2-2-13）?式中?（2-2-14） 将（2-2-13）式代入