多元线性回归方程的建立.doc

多元线性回归方程的建立 建立多元线性回归方程，实际上是对多元线性模型（2-2-4）进行估计，寻求估计式（2-2-3）的过程。与一元线性回归分析相同，其基本思想是根据最小二乘原理，求解?使全部观测值?与回归值?的残差平方和达到最小值。由于残差平方和 ??????????（2-2-5） ????是?的非负二次式，所以它的最小值一定存在。 ??? 根据极值原理，当Q取得极值时，?应满足 ??? 由（2-2-5）式，即满足 ????????????????????（2-2-6） ??? (2-2-6）式称为正规方程组。它可以化为以下形式 ?????（2-2-7） ??? 如果用A表示上述方程组的系数矩阵可以看出A是对称矩阵。则有 ???????????????????（2-2-8） ? ?式中X是多元线性回归模型中数据的结构矩阵，?是结构矩阵X的转置矩阵。 ?(2-2-7)式右端常数项也可用矩阵D来表示 ????即 ??????????? ??? 因此(2-2-7)式可写成 Ab=D???????????（2-2-10） ????或 ????????????（2-2-11） 如果A满秩（即A的行列式??）那么A的逆矩阵A-1存在，则由(2-10)式和(2-11)式得?的最小二乘估计为 ????????????（2-2-12） ??也就是多元线性回归方程的回归系数。 ? 为了计算方便往往