回归讲稿_6_12年.ppt

应用回归分析 第6章 多重共线性的情形及其处理 第6章 多重共线性的情形及其处理1 多元线性回归有一个基本假设，就是要求设计矩阵 X 的秩 rank( X ) = p + 1，即要求 X 中的列向量之间线性无关。如果存在不全为 0 的 p + 1 个数 c0, c1, c2, ? , cp，使得 c0 + c1xi1 + c1xi2 + ? + cp xip = 0, i =1, 2, ?, n (6.1) 则自变量 x1, x2, ? , xp 之间存在完全多重共线性。在实际问题中，完全多重共线性并不多见，常见的是 (6.1) 近似成立的情况，即存在不全为 0 的 p + 1 个数 c0, c1, c2, ? , cp，使得 c0 + c1xi1 + c1xi2 + ? + cp xip ? 0, i =1, 2, ?, n (6.2) 当自变量 x1, x2, ? , xp 之间存在 (6.2) 式的关系时，称自变量 x1, x2, ? , xp 之间存在多重共线性(Multi-Collinearity)，也称为复共线性。在实际经济问题的多元分析中，多重共线性的情形很多。 ? 如何诊断变量间的多重共线性， ? 多重共线性情形会给多元线性回归分析带来什么影响， ? 如何克服多重共线性的影响， 这些问题就是我们在本章要讨论的主要内容。 §6.1 多重共线性产生的背景和原因1 自变量之间完全不相关的情形在实际问题中是非常少见的，尤其是研究某个经济问题时，涉及的自变量较多，很难找到一组自变量，它们之间互不相关，而且它们都对因变量有显著影响。客观地说，某一经济现象涉及到多个影响因素时，这些影响因素之间大都有一定的相关性。当它们之间的相关性较弱时，一般就认为符合多元线性回归模型设计矩阵的要求；当这一组变量之间有较强的相关性时，就认为是一种违背多元线性回归模型基本假设的情形。 当我们所研究的经济问题涉及到时间序列资料时，由于经济变量随时间往往存在共同的变化趋势，使得它们之间容易出现共线性。例如，我国近年来的经济增长态势很好，经济增长对各种经济现象都产生影响，使得多种经济指标相互密切关联。比如要研究我国居民消费状况，影响居民消费的因素很多，一般有职工平均工资、农民平均收入、银行利率、全国零售物价指数、国债利率、货币发行量、储蓄额、前期消费额等，这些因素显然既对居民消费产生重要影响，它们之间又有很强的相关性。 §6.1 多重共线性产生的背景和原因2 对于许多利用截面数据建立回归方程的问题也常常存在自变量高度相关的情形。例如，以企业的截面数据为样本估计生产函数时，由于投入要素：资本 K、劳动力投入 L、科技投入 S、能源供应 E 等都与企业的生产规模有关，所以它们之间存在较强的相关性。 再如，某个研究课题在建立某地区粮食产量回归模型时，以粮食产量为因变量 y，以化肥用量 x1，水浇地面积 x2，农业投入资金 x3 等作为自变量。从表面上看， x1, x2, x3 都是影响粮食产量 y 的重要因素，可是建立的 y 关于 x1, x2, x3 的回归方程效果很差，原因是什么呢？后来发现，尽管所选自变量 x1, x2, x3 都是影响因变量 y 的重要因素，但是农业资金投入 x3 与化肥用量 x1、水浇地面积 x2 有很强的相关性，农业投入资金主要用于购买化肥和开发水利，也就是说，资金投入的效应已被化肥用量和水浇地面积体现出来。进一步计算 x3 分别与 x1, x2 的简单相关系数得 r1,3 = 0.98, r2,3 = 0.99 呈现高度相关。剔除 x3 后重新建立回归方程，结果无论从预测和结构分析来看，都十分理想。 §6.1 多重共线性产生的背景和原因3 从以上例子来看，在研究社会、经济问题时，因为问题本身的复杂性，涉及的因素往往很多。在建立回归模型时，由于研究者认识水平的局限性，很难在众多因素中找到一组互不相关又对因变量 y 有显著影响的变量，不可避免地会出现所选自变量相关的情形。当自变量之间有较强的相关性时，会给回归模型的参数估计带来什么样的后果，就是我们下面要讨论的问题。 §6.2 多重共线性对回归模型的影响1 设回归模型 y = ?0 + ?1 x1 + ?2 x2 + ... + ?p xp + ? 存在完全的多重共线性，即对设计矩阵 X 的列向量存在不全为 0 的一组数 c0, c1, c2, ? , cp，使得 c0 + c1xi1 + c1xi2 + ? + cp xip = 0, i =1, 2,