第15章多元线性回归.pptxVIP

　复习： 一元回归:分析一个应变量与一个自变量之间的线性关系。 其回归模型：Y=α+?X +?（总体） 由样本计算的回归方程： 一、多元线性回归(一) 概述 1. 模型 回归模型： Y=?0+?1X1+?2X2+?+?mXm +? 即因变量与多个自变量间存在线性关系。 Y为因变量，随机变量，取定量观察值。 X1，X2， ? ，Xm为自变量，选定或随机变量。 ?0为常数项。 ?1，?2，?，?m为偏回归系数。 ?为随机误差(或称残差, residual)，?~N(0, ?)，是因变量Y总变异中不能为自变量解释的部分。 偏回归系数(partial regression coefficient) ?j (j=1,2, ?,m) 的意义： 在其他自变量固定不变的情况下，自变量 Xj 每改变一个单位，单独引起因变量Y平均改变 ?j 个单位。 由样本计算的回归方程： 2. 特点 多元线性回归较简单线性回归的 ?，回归方程估计精度?，预报、控制效果?。3. 前提条件（LINE） ? 线性(linear) 应变量 与自变量的关系是线性的 。 ? 独立性(independence) 随机误差项在不同样本点之间是独立的，无自相关性。 ? 正态性(normality) 随机误差项服从正态分布； ? 方差齐性(equal variance) 随机误差项在不同的样本点的方差相同 。(二) 参数估计 1. 依最小二乘法原理，令 2. 求偏导数得正规方程组 推导得正规方程组： nb0+b1?x1+b2 ?x2+?+bm ?xm= ?y? b0?x1+b1 ?x12+ b2 ?x1 x2 ?+bm ? x1 xm= ? x1y? b0?x2+b1 ?x2 x1 + b2 ?x22 ?+bm ? x2 xm= ? x2y? … b0?xm+b1 ?xm x1+ b2 ? xm x2 ?+bm ?xm2= ?xmy m+14. 求偏回归系数 方法：矩阵法 ? 正规方程组的矩阵表达, 令: ——原始数据。 ? 系数矩阵? 常数项矩阵?正规方程组的矩阵表达形式：?方程回归系数（正规方程组的解）： 为 的转置矩阵， 为 的逆矩阵。(三) 回归方程的假设检验及回归效果粗评 1. 方差分析－检验回归方程有无统计学意义 H 0 ： ? 1 = ? 2 = ? = ? m = 0， H 1 ： 至少有一个 ? j ? 0 ， 或各 ? j ( j = 1 , 2, ? , m)不全为0 ； ? = 0.05； 若 F ? F ( m , n-m-1 )，P ? ?，拒绝 H 0，则总的来说，自变量X 与 Y 间存在线性回归关系。需由偏回归系数的假设检验才能确定究竟是哪一个或哪几个自变量与 Y 间存在线性回归关系。2. 粗评回归效果——确定系数 R 2 (coefficient of determination) R2 = SS回 / SS总 R 2意义：在Y的总变异中，由自变量建立的线 性回归方程所能解释的比例。 R 2的假设检验 （与回归方程假设检验等价） H0：总体的确定系数 = 0， H1：总体的确定系数 ? 0， ?=0.05； (四) 偏回归系数的假设检验 1. 目的 了解各自变量对 Y 作用的大小，剔除不重要的自变量，使方程“最优”。 2. 思路 对 b j 作假设检验（方差分析法或 t 检验法），无统计学意义者不能保留在方程里，重建回归方程，直到最新的方程： 方程中所有自变量均有统计学意义而方程外所有自变量均无统计意义止。3. 对各偏回归系数bj作假设检验的方法 H 0 ：? j = 0，H 1 ： ? j ? 0，? = 0.05 方差分析法 偏回归平方和 是指将 从回归 方程里剔除后所引起回归平方和的减少 量，它间接反映自变量 对因变量的贡 献大小。 t 检验法 方法一 ： ， 为偏回归系数估计值 b j 的标准误。 方法二： S y · 12?m——多元回归的误差(剩余)标准差 C j j —— A – 1 主对角线上的元素。 P262 例15-1　求得回归方程为： 回归方程检验：P＜0.01 R2=0.6008 偏回归系数检验结论：　只有X3、X4对血糖的影响有统计学意义。4.自变量的筛选的方法 (1) 后退法 ( backward selection ) ? 建立含全部自变量的回归方程，剔除 方程中偏回归平方和最小且无统计学 意义的自变量； ? 重建回归方程，再剔除方程中偏回归 平方和最小且无统计学意义的自变量； ? 重复?~ ?，直到无自变量被剔除为止。 此法计算量大。(2) 前进法 ( forward select