线性回归建模过程.docxVIP

模型的建立：多元线性回归分析的模型为 （3-1）其中：都是与无关的未知参数，称为回归系数。现得到个独立观测数据，其中为的观测值， 分别为的观测值，，由式（1）得 （3-2）记 （3-3）式（6）表为 （3-4）其中：为阶单位矩阵。参数估计模型（1）中的参数用最小二乘法估计，即应选取估计值，使当时，误差平方和 (3-5)达到最小。为此，令得 (3-6)经整理化为以下正规方程组： (3-7)正规方程组的矩阵形式为 (3-8)当矩阵列满秩时,为可逆方阵，式 的解为 (3-9)将代回原模型得到的估计值，而这组数据的拟合值为 (3-10)记拟合误差称为残差，可作为随机误差的估计，残差平方和为2.统计分析不加证明地给出以下结果：（1）是的线性无偏最小方差估计。指的是是的线性函数；的期望等于，在的线性无偏估计中，的方差最小。（2）服从正态分布 (3-11)记（3）对残差平方和,，且 (3-12)由此得到的无偏估计 (3-13)是剩余方差（残差的方差），称为剩余标准差。（4）对总平方和进行分解，有, (3-14)其中残差平方和，反映随机误差对的影响，称为回归平方和，反映自变量对的影响。上面的分解中利用了正规方程组。回归模型的检验，因变量与自变量之间是否存在线性关系是需要检验的，显然，如果所有的都很小，与的线性关系就不明显，所以可令原假设为当成立时由分解式(34)定义的满足 (3-15)在显著性水平下有上分位数，若,接受；否则，拒接。注意 接受只能说明与自变量的线性关系不明显，可能存在非线性关系，如平方关系。还有一些衡量与自变量相关程度的指标，如用回归平方和在总平方中的比值定义复判定系数 (3-16)称为复相关系数，越大，与自变量相关关系越密切，通常，大于0.8（或大于0.9）才认为相关关系成立。回归系数的假设检验和区间估计当上面的被拒绝时，不全为零，但是不排除其中若干个等于零。所以应进行一步作如下个检验：,是中的第元素，用代替，由（3-11）-（3-13）式,当成立时 (3-17)对给定的，若，接受；否则，拒绝。（3-17）式也可以用于对作区间估计，在置信水平下，的置信区间为 (3-18)其中3.利用回归模型进行预测当回归模型和系数通过检验后，可由给定的预测，是随机的，显然其预测值（点估计）为 (3-19)给定可以算出的预测区间（区间估计），结果较复杂，但当较大时且接近平均值时，的预测区间可简化为 (3-20)其中是标准正态分布的上分位数。对的区间估计方法可用于给出已知数据残差的置信区间，服从均值为零的正态分布，所以若某个的置信区间不包括零点，则认为这个数据是异常的，可予以剔除。