误差课件第六章-3.ppt

机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 机电学院 * 第六章 回 归 分 析 第五节 多元线性回归 一、多元线性回归方程 假如因变量y与另外M个自变量x1 ,x2 ,…,xM的内在联系是线性的，通过试验得到N组观测数据： 那末这批数据可以有如下的结构形式 第六章 回 归 分 析 用矩阵来研究多元线性回归是方便的 式中，β0 ,β1 ,β2,…, βM是M+1个待估计参数； x1 ,x2,…, xM 是M个可以精确测量或控制的一般量； ε1 ,ε2,…, εN是N个相互独立的且服从同一正态分布N(0,σ) 的随机变量。这就是多元回归的数学模型。 令 第六章 回 归 分 析 那么多元线性回归的数学模型就可以写成矩阵形式 式中，ε为N维随机向量，它的分量是相互独立的。 我们仍用最小二乘法估计参数β。设b0 ,b1 ,…,bM分别是参数β0 ,β1 ,…,βM的最小二乘估计，则回归方程为 由最小二乘法可知， b1 ,b2 ,…,bM应使得全部观测值yt与回归值 的残余误差平方和达到最小，即 第六章 回 归 分 析 对于给定的数据式，Q是b0 ,b1 ,…,bM的非负二次式，所以最小值一定存在。根据极值定理， b0 ,b1 ,…,bM应是下列方程组的解： 此方程组称为正规方程组，它可以进一步化为 第六章 回 归 分 析 显然正规方程组的系数矩阵是对称矩阵，若用A来表示，则A=XT X。因为 第六章 回 归 分 析 第六章 回 归 分 析 正规方程右端的常数项矩阵B亦可用矩阵X和Y表示 第六章 回 归 分 析 这样一来，正规方程组的矩阵形式是 C为A的逆矩阵，在一般情况下（系数矩阵A满秩）它是存在的，于是正规方程的矩阵解为 或 设 即 第六章 回 归 分 析 或 式中，b0 ,b1 ,…,bM为所求回归方程式的回归系数。 第六章 回 归 分 析 在处理多元回归问题时，主要是计算下列四个矩阵。 X为多元线性回归模型中数据yt的结构矩阵，它构成N次试验； C为系数矩阵A的逆矩阵，亦称相关矩阵； A为正规方程组的系数矩阵（亦称信息矩阵），A=XT X； B为正规方程组的常数项矩阵，它实际上是个列向量。 第六章 回 归 分 析 在多元线性回归模型中，常用另一种数据结构式 式中 相应的回归方程为 它的结构矩阵X，常数项矩阵B和系数矩阵A分别为 第六章 回 归 分 析 第六章 回 归 分 析 于是 第六章 回 归 分 析 第六章 回 归 分 析 这里矩阵A的逆矩阵C具有如下形式 于是，模型的回归系数 第六章 回 归 分 析 即 可见，该模型的优点不仅在于使得常数项回归系数μ0与b1 ,b2 ,…,bM无关，而且使求逆矩阵的运算降低了一阶，减少了计算。 第六章 回 归 分 析 这类问题的一般计算过程是，先求出 然后按公式求出lij和ljy，然后求出逆矩阵L－1，按公式求出回归系数μ0，b1 ,b2 ,…,bM。 第六章 回 归 分 析 例题：根据经验知道某变量y受变量x1、x2影响，通过试验获得表中的一批数据，是建立y对x1、x2的线性回归方程 。 第六章 回 归 分 析 设欲求的回归方程的形式为 lij和ljy的计算可按下面的表进行，其中lyy供作进一步分析用。 第六章 回 归 分 析 第六章 回 归 分 析 其逆矩阵L-1为 其中矩阵L为 按公式求得 第六章 回 归 分 析 或 即 所求的回归方程为 第六章 回 归 分 析 二、回归方程的显著性和精度 一个是否反映客观规律，主要是靠实践来检验。从数学角度看，和一元回归类似，也可用数理统计检验的方法来检验。为此要对多元线性回归进行方差分析。 y的总离差平方和S，回归平方和U和残余平方和Q的计算及其应用自由度如表所示。此处，回归平方和表示在y的总离差平方和中，变量x1 ,x2 ,…,xM与y的线性关系而引起y变化的部分，它相应的自由度数为自变量的个数M。 N-1 总 计 M N-M-1 回 归 残 余 显著性 F 方差 自由度 平方和 来 源 第六章 回 归 分 析 回归方程显著性的检验可使用残余平方和对回归平方和的F检验，上表中