统计学终极教程8 回归分析.ppt

多重共线性及有偏回归 异方差 自相关 虚拟变量的应用 回归分析专题 多重共线性 多重共线性：由于数据本身的特征，回归模型中的解释变量之间或多或少存在一些相关性，这种情况违反了解释变量相互独立的假设，称之为~。 （1）严重多重共线性，即解释变量之间存在着较高甚至完全的线性相关关系。 此时设计矩阵的列向量存在近似线性相关(称为多重共线性(multi-collinearity))，|X′X|≈0。此时一般最小二乘方法尽管可以进行，但估计的性质变坏，主要是对观测误差的稳定性变差，严重时估计量可能变得面目全非。 多重共线性 （2）解释变量之间存在着某种相关关系。 在这种情况的多重共线性下，最小二乘估计量仍能估计，且为最优线性无偏估计量，但估计量的方差较大。同时使得估计精度下降，无法判断解释变量对被解释变量的影响程度。 （1）设法找出引起多重共线性的解释变量，将其剔除以消除多重共线性 （2）是通过变量定义形式或参数估计方法的选取来克服。 差分法改变原来方法的设定，以减弱多重共线性 增加样本容量，减少估计量的方差，提高估计精度 采用有偏回归方法来克服多重共线性，如岭回归方法。 多重共线性的处理 岭回归 岭回归方法主要就是在病态的(X′X)中沿主对角线人为地加入正数，从而使 稍大一些。使多元线性回归模型中β的最小二乘估计 为： 从式子直觉看出，当k=0时，它就是最小二乘估计；当k→+∞， 。 K取值 的统计性质 性质1. 岭估计不再是无偏估计，即 性质1 不再无偏。 性质2. 岭估计是线性函数。 可见 不仅是Y的线性函数，而且是原来最小二乘估计 的线性函数。 性质3. Zk的特征根都在(0，1)内。设有正交阵P与P′使 则 故知Zk的特征根分别为 ，都在(0，1)内。 性质4. 岭估计是压缩估计，即 这是因为由性质2、性质3，有 当然，由于 并不一定互相相等，这种压缩一般不是各方向上的均匀压缩。 性质5. 岭估计的均方误差较小，即 岭迹分析与岭参数选择 因为岭估计 是k的函数，所以在二维坐标平面上若以横轴为k，纵轴为 ，它将画出一条曲线。这条曲线我们称之为岭迹。 当k→0时，岭迹反映了最小二乘估计 的不稳定性。当k→+∞时，岭迹将趋于0。在k从0到+∞的变化过程中， 的变化可能比较复杂。 岭参数选择 方法和原则 1. 岭迹稳定 观察岭迹曲线，原则上应该选取 使稳定的最小k值，同时残差平方和也不增加太多。 2. 均方误差小 岭估计的均方误差 还是k的函数，可以证明它能在某处取得最小值。计算并观察 ，开始它将下降，到达最小值后开始上升。取它最小处的k作为岭参数。 3. 4.5. ， （四）广义岭回归 线性回归模型的典则形式 其中α=Pβ称为典则参数，Z=XP′称为典则变量，P为正交方阵使P(X′X)P′=Λ。此时α的岭估计为 这里主对角线上是统一地加上相同的k。如果灵活一些，使主对角线上可以加上不同的ki, i=1,…,p, 显然有可能使均方误差进一步下降。而且，原来狭义岭估计是广义岭估计的特例。将这个思想写成式子就是 回到原来参数，就是 这里， 。 广义岭回归确实能使估计的均方误差进一步下降，但岭参数的选择更为复杂一些。 异方差问题及其处理 在实际问题中，经常存在违背“随机扰动项有相同的方差”的情形。此时，在不同的样本点上，方差的取值是不同的。称此情形存在异方差性。 异方差性的产生通常与研究问题的性质有关。 存在异方差性，继续使用最小二乘法进行估计，会导致参数估计量虽然无偏，但不再是有效估计量，不满足渐近有效性。同时，会低估估计量的方差，使得t检验的值较高，使假设检验的效果受到显著影响。 异方差问题及其处理 图示法、等级相关系数法、White检验、Goldfeld-Quandt 检验 思想为： 同方差性是指对于不同的样本点，随机误差项的方差是相同的；异方差性，表明具有不同的方差。 通过残差来实现检验 如果存在相关性，则原回归模型存在异方差性。往往通过研究问题的背景或数据形式来判断异方差是否存在。对于横截面数据，应注意异方差性的出现。 异方差问题及其处理 处理异方差问题时，可以通过变换原有模型，使变换后的模型具有同方差的随机扰动项，然后再应用最小二乘法进行估计。 若已知异方差存在，且知道异方差的具体数值，则可用加权最小二乘