学习笔记--多元回归分析.docxVIP

多元回归分析1、多元线性回归模型的基本假设在多元回归中除了要求一元回归中的基本假设条件外，还需要假设自变量之间不存在完全的多重共线性，否则无法估计回归模型。 完全的多重共线性：一个自变量可以表示为其他自变量和常数项的线性函数，例如x1 = 2x2 +x3 +5。一元回归中的基本假设条件：满足条件：（1）E（）=0；（2）D（）=σ2；（3）Cov (,)=0,i≠j ; (4) Cov (,)=0 。条件（1）表示平均干扰为0；条件（2）表示随机干扰项等方差；条件（3）表示随机干扰项不存在序列相关；条件（4）表示干扰项与解释变量无关。在假定条件（4）成立的情况下，随机变量y～N（a+bx，σ2）。一般情况下，ε～N（0，σ2）。条件（5）自变量之间不存在完全的多重共线性（多元）2多元线性回归方程的参数估计最小二乘法在多元回归中对回归系数的解释有所不同。例如变量x1的回归系数应解释为：当x2 ， x3，…， xp不变时， x1每变动一个单位因变量y的平均变动量。 3多元回归方程的检验拟合优度的检验修正的多重判定系数 Ra2特点：n-1和n-k-1实际分别是总离差平方和与残差平方和的自由度。自由度的求法是（N-K-1）N就是序列的个数，即总样本量K就是变量个数1就是平均数由各自定义知： Ra2小于1，但未必都大于0，在拟合极差的情况下， Ra2有可能为负值。估计标准误差多元线性回归中的估计标准误差也是对误差项ε的标准差σ的一个估计值含义：根据自变量x1，x2，…，xk来预测因变量y时的平均预测误差。 显著性的检验F检验检验因变量与所有自变量之间的线性关系是否显著也被称为总体的显著性检验检验步骤：提出假设H0：12k=0线性关系不显著 H1：1，2， k 至少有一个不等于0 计算检验统计量F确定显著性水平和分子自由度k、分母自由度n-k-1找出临界值F 作出决策：若FF ，拒绝H0T检验线性关系检验通过后，对各个回归系数有选择地进行一次或多次检验究竟要对哪几个回归系数进行检验，通常需要在建立模型之前作出决定对回归系数检验的个数进行限制，以避免犯过多的第Ⅰ类错误(弃真错误) 对每一个自变量都要单独进行检验应用 t 检验统计量检验步骤：提出假设H0： bi = 0 (自变量 xi 与 因变量 y 没有线性关系) H1： bi 0 (自变量 xi 与 因变量 y有线性关系) 计算检验的统计量 t 回归系数与回归系数标准误差之比回归系数的抽样标准差 Se为回归统计表中的标准误差为回归参数表中各系数的标准误差确定显著性水平，并进行决策 tt，拒绝H0； tt，不拒绝H0置信区间的计算回归系数在(1-)%置信水平下的置信区间为 4 多元回归中的变量筛选Forward selection向前选择从模型中没有自变量开始对k个自变量分别拟合对因变量的一元线性回归模型，共有k个，然后找出F统计量的值最高的模型及其自变量(P值最小的)，并将其首先引入模型 分别拟合引入模型外的k-1个自变量的线性回归模型 如此反复进行，直至模型外的自变量均无统计显著性为止向后剔除 backward elimination先对因变量拟合包括所有k个自变量的回归模型。然后考察p(pk)个去掉一个自变量的模型(这些模型中的每一个都有k-1个自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除考察p-1个再去掉一个自变量的模型(这些模型中每一个都有k-2个的自变量)，使模型的SSE值减小最少的自变量被挑选出来并从模型中剔除如此反复进行，一直将自变量从模型中剔除，直至剔除一个自变量不会使SSE显著减小为止逐步回归的思想将变量逐一引入回归方程，先建立与y相关最密切的一元线性回归方程，然后再找出第二个变量，建立二元线性回归方程，…。在每一步中都要对引入变量的显著性作检验，仅当其显著时才引入，而每引入一个新变量后，对前面已引进的变量又要逐一检验，一旦发现某变量变得不显著了，就要将它剔除。这些步骤反复进行，直到引入的变量都是显著的而没有引入的变量都是不显著的时，就结束挑选变量的工作。可以设定引入和删除变量的条件。条件（2）表示随机干扰项等方差的说明：同方差 异方差x1 x2XeYx1 x2XeY随着x变化随机扰动项e的方差不变 随着x增加随机扰动项方差增大 条件（3）表示随机干扰项不存在序列相关；随机误差项之间的协方差不为零时，即存在序列相关（Serial Correlation），又称自相关。在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。期望值分别为E(X) = μ 与 E(Y) = ν 的两个实数随机变量X与Y之间的协方差定义为： 　COV