回归演示文稿摘要.pptVIP

3、模型的假设检验 4、回归系数的假设检验和区间估计 5、利用回归模型进行预测 第五节 回归模型的选取方法 相互独立且均服从 分布。 为了方便，引入矩阵记号： 得到： 由于我们所做的实验通常情况下是相互独立的，因此为列满秩矩阵，即rank( )= .上式称为线性回归模型的矩阵型式。 对 求偏导并令其导数等于零。 得方程 解得： 1、参数估计 1） 的最小二乘估计 回归方程 2）： 的估计 2、相关统计推断 1）总的离差平方和 残差平方和 其自由度为 ，它反映了 与 之间的线性关系以外的因素引起数据 的波动。即随机误差和不可控制的因素引起的误差，值越小模型越准。 回归平方和 其自由度为 ，它反映了线性拟合值与他们平均值的总偏差，即由变量 的变化引起 的的波动。显然值越大，说明由线性回归关系所描述的的波动的比例越大，即线性关系越明显。 总和 误差 回归 均方 平方和 自由度 方差来源 构造统计量 计算 与查表 比较，如果 接受 ，认为模型不显著；如果 ，拒绝 ，接受 认为模型显著，即与之间存在明显的线性回归关系。 求出 可证得 其中 为 的对角线上第 个元素的平方根。 当 成立时 ，若 不为真时， ，则 有偏大趋势。因此对给定水平 ，若 ，接受 ，否则拒绝 。 在置信水平 下 点估计： 区间估计: 其中： e o o e o e o e (a) (c) (b) (d) 二、残差分析图 1、时序残差图 在实际问题中，如果观测值 是按时间序列测量的，我们就以观测时间或观测值序号为横坐标，以残差为纵坐标作出散点图，称为时序残差图。拟合较好的模型其时序残差图中的点应落在以时间轴为中轴线的带状区域内，且无明显的趋势性，即图（a）的形状；图（b）说明回归函数中应包含时间的二次项为自变量；图（c）表明误差方差随时间增大，即等方差的假定是不合理的。此时，可利用数据变换可以在一定程度上改善误差的异方差性。图（d）表明回归函数中应包含时间的线性项。 2、以拟合值为横坐标的残差图 若模型适当，以拟合值 为横坐标的残差图也应呈现图（a）的水平带形式。若出现如图（b）说明回归函数应包含某些变量的高次项或交叉乘积项，或者在拟合模型前应对变量 作变换；若出现图（c）说明误差方差不是常数；若出现图（d）说明拟合数据与真实数据间存在系统偏差。这有可能是测量数据时，遗漏了某些对因变量有显著影响的自变量或者回归方程遗漏了常数项 。 3、以自变量为横轴坐标的残差图 以每个 的各观测值 为点的横坐标即得以此自变量为横坐标的残差图。同样，满意的残差图应呈现如图（a）的水平带状。若呈现图（b）的形状，则需在模型中添加 的高次项或者对 做变换；若呈现图（c）的形式说明误差等方差的假定不合理；若呈现图（d）说明 的线性效应未完全消除。 进一步，我们还可以 做出以为横坐标的残差图，以考察有无必要将 与 的乘积项引入到回归函数中（此项也称为 与 对 的交互影响）。如果该残差图呈现某种线性趋势，说明我们应在回归函数中加入 项，即应考虑如下模型： 如果该残差图无明显的趋势性，即不需考虑 与 的乘积项。 一、穷举法 穷举法是从所有可能的回归模型中按照一个准则选取一个或几个最优的模型。 1、复相关系数准则（ 准则） 越大说明该线性回归方程描述因变量总变化量的比例越大，从而拟合的误差平方和就越小，即拟合效果就越好。因此 可作为衡量拟合拟合优劣的一个的统计量。 可以证明当回归方程中添加自变量时， 的值单调不减。因而，当所有个自变量都在回归方程中时值最大。故利用 达到最大来选择