岭回归分析..docxVIP

岭回归分析一、普通最小二乘估计带来的问题当设计矩阵X呈病态时,X的列向量之间有较强的线性相关性，即解释变量间出现严重的多重共线性,在这种情况下,用普通最小二乘法估计模型参数，往往参数估计的方差太大,即很大，就很不稳定,在具体取值上与真值有较大的偏差,有时会出现与实际经济意义不符的正负号。下面看一个例子,可以说明这一点。假设已知,与y的关系服从线性回归模型:,给定,的10个值,如下表1，2行所示：然后用模拟的方法产生10个正态随机数,作为误差项,见表第3行。然后再由回归模型计算出10个值,见表第4行。现在假设回归系数与误差项是未知的,用普通最小二乘法求回归系数的估计得：=11.292,=11.307,=-6.591,而原模型的参数=10,=2,=3看来相差太大。计算，的样本相关系数得=0.986,表明与之间高度相关。通过这个例子可以看到解释变量之间高度相关时，普通最小二乘估计明显变坏。二、岭回归的定义当自变量间存在多重共线性,||0时，设想给加上一个正常数矩阵(k0)那么+接近奇异的程度就会比接近奇异的程度小得多。考虑到变量的量纲问题，先要对数据标准化，标准化后的设计矩阵仍用X表示，定义称为的岭回归估计，其中，k称为岭参数。由于假设X已经标准化，所以就是自变量样本相关阵。y可以标准化也可以未标准化，如果y也经过标准化，那么计算的实际是标准化岭回归估计。作为的估计应比最小二乘估计稳定，当k=0时的岭回归估计就是普通的最小二乘估计。因为岭参数k不是唯一确定的，所以得到的岭回归估计实际是回归参数的一个估计族。三、岭回归估计的性质性质1，是回归参数的有偏估计。证明：显然只有当k=0时，；当k0时，是的有偏估计。性质2，在认为岭参数k是与y无关的常数时，=是最小二乘估计的一个线性变换。也是的线性函数。证明：性质3，对任意k0，，总有。这里是向量的模，等于向量各分量的平方和。这个性质表明看看成由进行某种向原点的压缩。从的表达式可以看到，当k时，0，即化为零向量。性质4，以MSE表示估计向量的均方误差，则存在k0，使得。四、岭迹分析当岭参数k在（0，）内变化时，是k的函数，在平面坐标系上把函数描画出来，画出的曲线称为岭迹。在图a中，=0，且比较大。从古典回归分析的观点看，应将看作是对y有重要影响的因素。但的图形显示出相当的不稳定，当k从零开始略增加时， 显著地下降，而且迅速趋于零，因而失去预测能力。从岭回归的观点看，对y不起重要作用，甚至可以去掉这个变量。在图b中，=0，但很接近0。从古典回归分析看，对y的作用不大。但随着k略增加，骤然变为负值，从岭回归观点看，对y有显著影响。在图c中，=0，说明还比较显著，但当k增加时，迅速下降，且稳定为负值，从古典回归分析看对y有正影响的显著因素，而从岭回归分析角度看，要被看作是对y有负影响的因素。在图d中，和都很不稳定，但其和却大体上稳定。这种情况往往发生在自变量和的相关性很大的场合，即和之间存在多重共线性的情形。因此，从变量选择的观点看，两者只要保存一个就够了。这种情况可用来解释某些回归系数估计的符号不合理的情形，从实际观点看，和不应该有相反符号。岭回归分析的结果对这一点提供了解释。从全局考虑，岭迹分析可用来估计在某一具体实例中最小二乘估计是否适用，把所有回归系数的岭迹都描在一张图上，如果这些岭迹线“不稳定度”很大，整个系统呈现比较“乱”的局面，往往就会怀疑最小二乘估计是否很好地反映了真实情况。如图e那样。如果情况如图f那样，则对最小二乘估计可以有更大的信心。五、岭参数k的选择岭参数选择的目的是要选择使MSE（）达到最小的k，最优k值依赖于未知参数和。1、岭迹法岭迹法的直观考虑是，如果最小二乘估计看来有不合理之外，如估计值以及正负号不符合经济意义，希望能通过采用适当的岭估计来加以一定程度的改善，岭参数k值的选择就是尤为重要。选择k值的一般原则是：（1）各回归系数的岭估计基本稳定；（2）用最小二乘估计时符号不合理的回归系数，其岭估计的符号变得合理。（3）回归系数没有不合乎经济意义的绝对值；（4）残差平方和增大不太多。岭迹法与传统的基于残差方法相比，在概念上来说是完全不同的，岭迹法对于分析各变量之间的作用和关系是有帮助的。2、方差扩大因子法应用方差扩大因子法选择k的经验做法是：选择k使所有方差扩大因子，当时，所对应的k值的岭估计就会相对稳定。3、由残差平方和来确定k值岭估计在减小均方误差的同时增大了残差平方和，我们希望岭回归的残差平方和的增加幅度控制在一定的限度以内，从而可以给定一个大于1的c值，要求,寻找使该式成立的最大的k值。六、用岭回归选择变量岭回归选择变量的原则：1、在岭回归的计算中，假定设计矩阵X已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比较稳定且绝