第四讲 回归分析3(逐步回归分析).pptVIP

逐步回归分析 最优回归方程的问题 在有p个自变量的情况下，根据自变量的不同组合可能建立的回归方程众多。这些回归方程的效果有好有坏，而人们希望的是回归效果最好的，即“最优”的回归方程 最优回归方程的要求： 回归效果最佳 自变量的个数最少 一方面对因变量起显著作用的自变量都选进回归方程，另一方面对因变量作用不显著的自变量都剔除回归方程，选择一个最佳的变量组合 选择最优回归方程的方法 1.从所有可能的变量组合中，选择一个最优的回归方程。这种方法一定能选出一个最优组合，但工作量特别大 2.逐步剔除法 基本步骤： 从包含全部p个自变量组合的回归方程中逐个检验回归系数，剔除对因变量作用不显著的自变量； 对剔除后剩下的q个自变量建立对因变量的多元回归方程，再逐个检验回归系数，剔除不显著的变量； 重复上述步骤，直到保留在回归方程中自变量的作用都显著为止 缺点：一开始把全部自变量都要引入回归方程，计算量很大，实际上有些不重要的就不必引入 逐步回归分析的几个问题 一、建立标准正规方程组 二、变量的引入、剔除与消去法的关系 一、建立标准正规方程组 为了分辨 p个自变量对因变量 Y 所起影响(或作用)的大小，一个自然的想法是比较各自变量回归系数 (j＝1,2,…,p)的绝对值的大小。 根据回归系数的含义，Xj 的回归系数 是在其余p－1个自变量保持不变的条件下，Xj 改变一个单位所引起 Y 平均变化的大小。因而回归系数绝对值的大小反映了它所代表的因素的重要程度 由于回归系数和自变量所取的单位(或数量级)有关，而各个自变量取不同的量纲的情况是常见的，因而不能将回归系数直接进行比较 建立标准正规方程组 为了消除这个影响，对自变量和因变量都要加以标准化 标准化的方法 经过标准化的变量，其均值为 0，标准离差Lxjxj为 1 标准正规方程组 由标准化数据建立的正规方程组的系数矩阵即为变量间的相关系数矩阵，称为标准化正规方程组 标准化正规方程组为： 标准正规方程组 标准化正规方程组的解 称为标准回归系数，其常数项 为0 。由于因变量也进行了标准化，其总离差平方和 Lyy=1 求解标准化正规方程组还需要解决以下两个问题 ①引入变量和剔除变量的标准； ②引入变量与剔除变量的方法。 二、变量的引入、剔除与消去法的关系 三、实例 END 第二步 (t =2) ①选择第二个变量进入回归方程 计算偏回归平方和 ui(2) (i=1,2,3)（利用R(1)对不在回归方程中的每个变量做计算） 其中以u1(2)=0.2980最大，故最优先考虑 x1 引入回归方程（能否引入方程要做检验）。 ☆7A 谋惨滁缉扎着湍脸投交邢东划京群落天烬桩颤豢讨铬淋僳抿碍眩苞郭榷萝第四讲 回归分析3(逐步回归分析)第四讲 回归分析3(逐步回归分析) ②引入变量的检验（引入检验） 偏回归系数检验 式中，分母表示x1引入回归方程后，剩余平方和 等于只包含x4一个变量时的剩余平方和 减去x1引入回归方程而使回归平方和增大的部分 。 由于F1(2) F0.05(1,10) = 4.96 ，因此x1应引入回归方程中。 将x1引入，方程中有两个因子，即l = 2 煤所笔坟堵淄县优虽馈县特志驻袁渐舀铲感歉栗宿道谷柴辊烟仰偏皱炉衰第四讲 回归分析3(逐步回归分析)第四讲 回归分析3(逐步回归分析) ③矩阵R(1)的高斯－亚当变换 记变换后的矩阵为R(2) ④引入因子x1后，对原有因子x4重新检验（偏回归检验）← 剔除检验 因为 ，因此 x4 不应从方程中剔除。 *(2) 解 *(2) 解 谤摄您凡弹求鹰萝痴爪邮钙拱京膨瞎罐刹桃荧圣相尹把柿肾汾吨投妹签使第四讲 回归分析3(逐步回归分析)第四讲 回归分析3(逐步回归分析) ⑤将x1引入回归方程的结果 标准回归系数： 回归方程的一般形式： 剩余平方和： 究识亢赵黍匡试殴雕脸阁弛茅绿灿闹垦颊缄茨廓菇咐硬痰稿侍毕工途刑铆第四讲 回归分析3(逐步回归分析)第四讲 回归分析3(逐步回归分析) 第三步(t = 3) ①选择第三个变量引入回归方程 计算偏回归平方和ui(3) (i=2,3)（利用R(2)对不在回归方程中的每个变量做计算） 其中 u2(3) u3(3) ，变量x2的偏回归平方和最小，选择x2 ②引入检验 偏回归系数检验 镜新沸反落柔硼绥腐才烫仑肤恩白勃量守垃霄磁险梦左晶售贷出偷方胶敷第四讲 回归分析3(逐步回归分析)第四讲 回归分析3(逐步回归分析) ③矩阵R(2)的高斯－亚当变换 引入x2,以r22(2)为主元进行，记变换后的矩阵为R(3) ④引入x2后，对原有因子x1、x4重新检验(l=3) ← 剔除检验 *(3) 解