处理多元线性回归中自变量共线性的几种方法.pdfVIP

处理多元线性回归中自变量共线- 性的几种方法 49 ( ) 　　文章编号: 1002- 1566 2000 05—0049—07 处理多元线性回归中自变量共线性的几种方法 ( ) —— 软件 6. 12 中 等过程增强功能的使用 SA S STA T R EG 高惠璇 (北京大学概率统计系, 北京海淀区　100871) 摘　要: 本文通过例子介绍多元线性回归中自变量共线性的诊断以及使用 (6. 12) 软件 SA S SA TA 中的R EG 等过程的增强功能处理回归变量共线性的一些方法。包括筛选变量法, 岭回归分析法, 主成分回归法和偏最小二乘回归法。 关键词: 回归、 、共线性、筛选变量、岭回归、主成分回归、偏最小二乘回归。 SA S STA T 中图分类号: 0212; C 8 文献标识码:A 　　回归分析方法是处理多变量间相依关系的统计方法。它是数理统计中应用最为广泛的方 法之一。在长期的大量的实际应用中人们也发现: 建立回归方程后, 因为自变量存在相关性, 将 ( ) 会增加参数估计的方差, 使得回归方程变得不稳定; 有些自变量对因变量 指标 影响的显著性 被隐蔽起来; 某些回归系数的符号与实际意义不符合等等不正常的现象。这些问题的出现原因 就在于自变量的共线性。本文通过例子来介绍自变量共线性的诊断方法以及使用 SA S STA T 软件 6. 12 版本中R EG 等过程的增强功能处理回归变量共线性的一些方法。 一、共线性诊断 共线性问题是指拟合多元线性回归时, 自变量之间存在线性关系或近似线性关系。 共线性诊断的方法是基于对自变量的观测数据构成的矩阵 ′进行分析, 使用各种反映 X X 自变量间相关性的指标。共线性诊断常用统计量有方差膨胀因子V IF (或容限 TOL ) 、条件指 数和方差比例等。 方差膨胀因子V IF 是指回归系数的估计量由于自变量共线性使得其方差增加的一个相 对度量。对第 个回归系数, 它的方差膨胀因子定义为 i 第 i 个回归系数的方差 1 1 V I F i = 自变量不相关时第i 个回归系数的方差 = 1 - R 2 = T OL i i 其中 2 是自变量 对模型中其余自变量线性回归模型的 平方。 的倒数 也称为 R i x i R V IF i TOL