多元线性回归分析内容提要与案例.doc

多元线性回归分析—内容提要 1.多元线性回归的数学模型 【模型的理论假设】设是个自变量（解释变量），是因变量，则多元线性回归模型的理论假设是 ，， 其中，是个未知参数，称为回归常数，称为回归系数，为随机误差. 【模型的建立】求元线性函数 的经验回归方程 ， 其中，是的统计估计，分别是的统计估计，称为经验回归系数. 【模型的数据结构】设对变量向量的次观测得到的样本数据为，.为了今后讨论方便，我们引进矩阵 ，，， 于是，多元线性回归模型的数据结构为 称为多元样本回归方程，其中,且各个相互独立.由于矩阵是样本数据，的数据可以进行设计和控制，因此，矩阵称为回归设计矩阵或资料矩阵. 注释 对多元线性回归模型理论假设的进一步说明： ⑴ 条件表明，是一个满稚矩阵，即矩阵列向量（解释变量）间线性无关，样本容量的个数应当大于解释变量的个数.反该假设时，称模型存在多重共线性问题. ⑵ 条件且各个相互独立表明，系统受到零均值齐性方差的正态随机干扰，系统自变量之间不存在序列相关，即 ，,. 当时，称回归模型存在异方差.当时，称回归模型存在自相关. 当模型违反上述假设后，就不能使用最小二乘法估计回归系数.解决方法将在后面介绍，先介绍模型符合假设时的参数估计方法. 2.模型参数的最小二乘估计 【参数估计的准则】定义离差平方和 ， 求使得 ， 称称为模型参数的最小二乘估计，称 为因变量的回归拟合值，简称回归值或拟合值.称 为因变量的残差. 【参数估计的算法】 当满足元线性回归模型理论假设的条件时，模型参数的最小二乘解为 . 可以证明 , , ，， 其中. 由此可见，是的无偏估计.协方差阵反映出估计量的波动大小,由于是右乘一个矩阵，所以的波动大小可以由抽样过程中进行控制.同一元线性回归分析一样，在多元线性回归中，样本抽样要尽可能的分散. 3.回归方程的显著性检验 ⑴ 多元回归方程显著性的整体性检验 检验解释变量全体对因变量是否有显著影响，方法是检验，亦称方差分析. 【显著性检验基本定理】令 ─ 总偏差平方和，自由度. ─ 回归平方和，自由度. ─ 残差平方和，自由度. 则有 ① . ② 且. ③ 与相互独立. 【显著性检验基本方法 ─ F检验(方差分析)】 检验假设 . 检验统计量及其分布 在为真时，与相互独立，，于是检验统计量 . 检验的显著性概率 . 决策准则 在显著性水平下，当时拒绝，即认为回归方程有显著意义. ① 当时，称回归方程高度显著，标记为**； ② 当时，称回归方程显著，标记为*； ③ 当时，称回归方程不显著，不做标记. 检验结果的报告（方差分析表） 方差来源 偏差平方和 自由度 值 值 显著性 回归 残差 总计 此外，与一元线性回归分析类似，可用可决系数 来测定回归方程对各个观测点的拟合程度，，的值越大（小）表明回归直线对各个观测点的拟合程度越高（低）. ⑵ 多元回归方程中每个自变量对因变量影响显著性检验 检验解释变量对因变量影响的显著性. 检验假设 (). 检验统计量及其分布 在为真时，检验统计量 检验的显著性概率 . 决策准则 在显著性水平下，当时拒绝，即认为解释变量对因变量影响显著. 若存在不显著的变量，取，从回归方程中剔除自变量.设从原回归方程 中剔除自变量后，重新建立的回归方程中为 ， 则可以证明，新回归方程的系数与原回归方程的系数有如下关系： ， . 对于新建立的回归方程，必须对每一个余下的变量再次进行检验，直至余下变量全部显著为止. 4.最优回归方程的选择 ⑴ 最优回归方程选择标准 ① 因子完备的原则 回归方程中包含所有对因变量有显著影响的自变量. ② 模型从简的原则 回归方程中所包含的自变量的个数尽可能的少. ③ 充分拟合的原则 回归方程的剩余方差达到最小. ⑵ 最优回归方程选择方法（逐步回归法） ① 根据问题所属专业领域的理论和经验提出对因变量可能有影响的所有自变量. ② 计算每一个自变量对因变量的相关系数，按其绝对值从大到小排序. ③ 取相关系数绝对值最大的那个自变量建立一元线性回归模型，检验所得回归方程的显著性，若检验表明回归效果显著则转入④，若检验表明回归效果不显著则停止建模. ④ 进行变量的追加、剔除和回归方程的更新操作： 若检验表明回归效果显著，则按相关系数绝对值由大到小的顺序逐一将相应的自变量引入回归方程；每引入一个新的自变量，对新回归方程中每一个自变量都要进行显著性检验. 若检验表明回归效果不显著，则剔除对因变量影响最小的自变量，更新回归方程；对更新后的回归方程中的每一个自变量仍要进行显著性检验、剔除、更新，直到回归方程中的每一个自变量都显著为止，再引入前面未曾引入的自变量. 以此类推，直到无法剔除已经引入的