《解决多重共线性的岭回归法，贵州财经学院学报1993年第4期》.pdfVIP

贵 州 财 经 学 院 学 报 1993年 第四期 搜1，生 ，乡 戈 岭回JJ 歹么 一 解决多重共线性的岭回归法 赵文奇 2f2，f 经济数据变量之间普遍存在着多重共线性。本文讨论了解决多重共线性的 岭估讨量的特性及与OLS估计量的对比，并阐述了确定适应普通岭估计量和适 应广义岭估量的各种方法，以及选择K的各种预测准则。 一 般线性模型 y=x +e (1) 这里y是(T×I)观察值向量， 是一个(T×k)的非随机解释变量观察值矩阵， 是未 知的(k×I)回归系数向量，e是一个具有零均值和共同方差o 的正态分布随机扰动 项的(T×I)向量。 如果X的各列之间，即各解释变量之间不存在严重的多重共线性， 那么(1)中参数 的0 L S估计量 b一(x’x)一 x’y (2) 是最佳线性无偏估计量(BLUE)。但如果解释变量之侧存在着严重的多霞共线性，那 么使用0 L S法得到的b将不再具有BLUE特性，并使得参数估计值不稳定，估 计精度 降低，难以区分各解释变量单独的影响，或错误地舍去重要的解释变量。 解决多重共线性的方法很多，常用的有：(1)引入额外数量信息法，其中主要包括 约节最小平方法、合并截面数据与时间序列数据法(实际是约束最小平方法的一种特 例)，广义最小平方法的Durbin解法，由Theil和Goldberger建议采用的混合估计 法等；(2)增加样本容量；(3)滞后变量代替分布滞后模型中的其它解释变量；(4)在 模型中引入附加方程；(5)主分量法；(6)岭回归法；(7)类Stein估计量法等。这里 讨论岭回归和岭估计量的特性，以及确定岭估计量的各种方法，并将岭估计量族与0 L S估计量卡¨ 较 。 岭估计量族 岭 归 (ridge regression)最初是…Hoerl和Kennard于1 970年为调查近似极 端多重共线性数据的最小平方估计值的灵敏度而提出的一种方法，这种多重共线性数据 的微小扰动可能使系数估计值产生巨大变动。在比常规最小平方估计量具有更小风险的 意义下，岭回归估计量被认为是一种 “改进估计量”。 如果存在多重共线性，(2)中的(x’x)将是一个奇异矩阵，其逆不存在，从而得 不到0 L S估计量。即使不是完全多重共线性，(x’x)也是近似奇异 的，0 L S估计 量也将十分敏感。可以考虑在 (x’x)的主对角元素一卜各加上一个很小的数，使其变成 其它方法请参~ludge等(1988)笫2l章。在本文中．凡人名后跟一年号．均表示一篇参考文献。 · 48· 非奇异矩阵。这就是岭 归的基本思路。出Hoerl和Kennad引入的广义岭回归估计量 是 b (D)=[X’X+PDP’] Xy’ (3) 其中P是一个…X’X的标准jF交特征向避为列组成的矩阵，D足一个对角元为常数di／- 0的对角矩阵。如果各常数di全相等 U．取值为di l(，那么广义岭估计量就简化为普通 岭估计量 ．1置 b (k)：(X’X+kI) X’y (4) 注意L S 计量是该估计量族中当k一0时的一个成员，=E分 估计量町以认为 是(3) f I}Idl一…=dK—j=0_f_1．dK—j+1一…一dK：o。时的特例。 最小平方仙计量b． 有一个性顺 - E(b’b)一B’B+a tr(X’X)一 B’B+a 2／，lK ■_， 中 是X’