多元线性回归分析注意问题.PPT

多元线性回归分析实例 方差扩大因子 多元线性回归分析实例 0＜k＜10时,设计矩阵X没有多重共线性; 10≤k＜100时,认为X存在较强的多重共线性; 当k≥100时,则认为存在严重的多重共线性。 特征根方法 多元线性回归分析实例 直观判定法 1.当增加或剔除一个自变量,或者改变一个观测值时,回归系数的估计值发生较大变化。 2.从定性分析认为,一些重要的自变量在回归方程中没有通过显著性检验。 3.有些自变量的回归系数所带正负号与定性分析结果违背。 4.自变量的相关矩阵中,自变量间的相关系数较大。 5.一些重要的自变量的回归系数的标准误差较大。 多元线性回归分析实例 剔除x1的结果 多元线性回归分析实例 剔除x2结果 多元线性回归分析实例 从以上结果可以看出，此回归模型不存在强多重共线性，最终回归方程为： 标准化回归方程为： 多元线性回归分析注意问题 当回归模型的未知参数估计出来后,我们实际上是由n组样本观测数据得到一个经验回归方程,这个经验回归方程是否真正反映了变量y和变量x1,x2,…,xp之间的线性关系,这就需要进一步对回归方程进行检验。一种检验方法是拟合优度检验,即用样本决定系数的大小来衡量模型的拟合优度。样本决定系数R2越大,说明回归方程拟合原始数据y的观测值的效果越好。但由于R2的大小与样本容量n以及自变量个数p有关,当n与p的数目接近时,R2容易接近于1,这说明R2中隐含着一些虚假成分。因此,仅由R2的值很大,去推断模型优劣一定要慎重。 多元线性回归分析注意问题 一般来说,当接受假设H0时,认为在给定的显著性水平α之下,自变量x1,x2,…,xp对因变量y无显著性影响,于是通过x1,x2,…,xp去推断y也就无多大意义。在这种情况下,一方面可能这个问题本来应该用非线性模型去描述,而我们误用线性模型描述了,使得自变量对因变量无显著影响;另一方面可能是在考虑自变量时由于我们认识上的局限性把一些影响因变量y的自变量漏掉了。这就从两个方面提醒我们去重新考虑建模问题。 多元线性回归分析注意问题 当样本容量n较小,变量个数p较大时,F检验或t检验的自由度太小,这时尽管样本决定系数R2很大,但参数估计的效果很不稳定。 多元线性回归分析注意问题 多重共线性危害：当出现多重共线性时，回归系数的估计值方差变大，回归系数置信区间变宽，估计精度降低，估计值稳定性差，出现回归方程高度显著时，一些回归系数通不过显著性检验，回归系数出现正负号倒置，使得回归方程无法得到合理解释。 因此，利用模型去做分析时，要尽量避免多重共线性。如果利用模型去做预测，只要保证自变量的相关类型在未来时期中保持不变，未来时期自变量仍具有建模时数据联系特征，即使回归模型包含多重共线性，也可以去的较好预测结果；如果不能保证自变量的相关类型在未来时期中保持不变，那么多重共线性就会对回归预测产生严重影响。 多元线性回归分析注意问题 关于复决定系数与调整复决定系数：我们往往用残差平方和和复相关系数来衡量回归拟合好坏，然而这显然存在不足。 可以证明，当模型增加自变量时，复决定系数也随之增大，然而复决定系数增大的代价是残差自由度减少（残差自由度等于样本个数与自变量个数之差），自由度减少说明估计和预测的可靠性降低，因此采用调整复相关系数： 样本量 自变量个数 主成分回归（Principal Components Regression,简记为PCR）是对普通最小二乘估计的另外一种改进方法，它的参数估计是一种有偏估计。W.F.Massy1965年根据多元统计分析中的主成分分析提出了主成分回归。 设对某一事物的研究涉及p个指标，分别用X1，X2，…，Xp表示，这p个指标构成p维随机变量X=（X1，X2，…，Xp）’.设随机变量X的均值为μ，协方差矩阵为Σ。 对X进行线性变换，可以形成新的综合变量，用Y表示，即： 主成分回归 主成分回归 由于可以任意的对原始变量进行上述线性变换，得到的综合变量Y也不同，因此需对线性变化进行约束限制： 主成分回归 1 2 3 3 Yi与Yj不相关（i≠j；i，j=1,2，…，p） Y1是X1，X2，…，Xp的所有满足第一个条件的线性组合中方差最大者；Y2是与Y1不相关的X1，X2，…，Xp的所有线性组合中方差最大者； Yp是与Y1、Y2，…，Yp都不相关的X1，X2，…，Xp的所有线性组合中方差最大者； 实例应用： 主成分回归 年份 y x1 x2 x3 x4 x5 1978 231 3010 1888 81491 14.89 180.92 1979 298 3350 2195 86389 16.00 420.39 1980 343 368