工程硕士3回归预测法2多元线性回归3非线性回归.pptVIP

多元线性回归预测法非线性回归预测法 3.2 多 元 线 性 回 归 预 测 法 一、多元回归模型 多元线性回归是一元线性回归的逻辑推广。是一个因变量与两个及两个以上自变量的回归 描述因变量 y 如何依赖于自变量 x1 ， x2 ，…， xk 和误差项 ? 的方程，称为多元回归模型 涉及 k 个自变量的多元线性回归模型可表示为 一、多元回归模型 ? 0 ， ? 1， ? 2 ，?， ? k是参数 ? 是被称为误差项的随机变量 y 是x1,，x2 ，? ，xk 的线性函数加上误差项? ? 包含在y里面但不能被k个自变量的线性关系所解释的变异性 一、多元回归模型 基本假定： 正态性。误差项ε是一个服从正态分布的随机变量，且期望值为0，即ε~N(0,?2) 方差齐性。对于自变量x1，x2，…，xk的所有值，? 的方差? 2都相同 独立性。对于自变量x1，x2，…，xk的一组特定值，它所对应的?与任意一组其他值所对应的不相关 二、参数的最小二乘估计 三、对 的点估计 对于残差平方和 可以证明 所以取 为 的点估计。 例： 接上例，该饮料公司的许多零售店设在体育比赛场地，该公司分析得出：当比赛一边倒时，观众就会比往常喝的多一些，因为这时观众就有时间注意到口渴，而不是把注意力完全集中在比赛上。因此，我们可以利用比赛结束时的比分差作为第二个自变量，其预测模型就成为： 预测模型： 其中x1代表气温，x2代表比分差 运用最小二乘法对b0，b1，b2进行估计 由于 从而可得正规方程组为： 求解上述正规方程组，可得b0，b1，b2的估计值。 计算 和 可以对随机误差项进行估计。 四、拟合优度 1、标准误差 同一元线性回归一样，标准误差是对y值与模型估计值之间离差的一种度量，它的大小在某种程度上反映了曲线拟合的精确程度，同时它也是计算置信区间估计值的基础。 在本例中，标准误差SE=30.6241666 这个值比一元线性回归的SE=65小了很多，这一点体现了采用多元回归可以在很大程度上提高预测的精确性程度 2、可决系数 可决系数是衡量自变量与因变量关系密切程度的指标，表示自变量解释因变量变动的百分比。它取值在0-1之间，并取决于回归模型所解释的y的方差的百分比。 可决系数的计算公式为： 其中，分子为y的估计值所解释的方差，分母为y的方差。 五、模型检验 1、F检验 2、回归参数的检验 1、回归方程的显著性检验（F检验） 被解释变量与多个解释变量之间是否存 在显著的线性关系呢？需在总体上是否显著 作出推断。 F与R2的关系 因为方程的整体线性关系显著，并不 表示每个解释变量对被解释变量的影响都 是显著的，因此，还必须分别对每个解释 变量进行显著性进行检验。 由于对回归参数的显著性检验计算过程需要用到(X’X)的逆矩阵的对角线元素，因此一般需要软件来进行求解。 用spss软件对数据进行求解得到结果如下: 下图是spss对模型计算的其他结果 六、自相关和多重共线性问题 1、自相检验 建立回归模型时的一个基本假设是：回归模型的剩余项ui之间是相互独立的。也就是各个ui项之间不存在自相关问题。如果存在自相关问题，模型的预测就要失真。 德宾沃森检验是对ui的相对独立性进行检验的方法 检验步骤; 1、构造统计量 2、计算该统计两的值 3、进行判断：当该值位于1.5~2.5之间时，表示没有自相关 多重共线性带来的问题有 可能会使回归的结果造成混乱 可能对参数估计值的正负号产生影响，特别是各回归系数的正负号有可能同预期的正负号相反 多重共线性的识别 检测多重共线性的最简单的一种办法是计算模型中各对自变量之间的相关系数，并对各相关系数进行显著性检验 若有一个或多个相关系数显著，就表示模型中所用的自变量之间相关，存在着多重共线性 如果出现下列情况，暗示存在多重共线性 模型中各对自变量之间显著相关 当模型的线性关系检验(F检验)显著时，几乎所有回归系数的t检验却不显著 回归系数的正负号与预期的相反 多重共线性的处理 将一个或多个相关的自变量从模型中剔除，使保留的自变量尽可能不相关 如果要在模型中保留所有的自变量，则应 避免根据 t 统计量对单个参数进行检验 对因变量值的推断(估计或预测)的限定在自变量样本值的范围内 变量选择过程 在建立回归模型时，对自变量进行筛选 选择自变量的原则是对统计量进行显著性检验 将一个或一个以上的自变量引入到回归模型中时，是否使得残差平方和(SSE)有显著地减少。如果增加一个自变量使SSE的减少是显著的，则说明有必要将这个自变量引入回归模型，否则，就没有必要将这个自变量引入回归模型 确定引入