spssau共线性处理方法之岭回归(ridge-regression).docx

岭回归分析 在进行线性回归分析时，很容易出现自变量共线性问题，通常情况下VIF值大于10说明严重共线，VIF大于5则说明有共线性问题。 当出现共线性问题时，可能导致回归系数的符号与实际情况完全相反，本应该显著的自变量不显著，本不显著的自变量却呈现出显著性；共线性问题会导致数据研究出来严重偏差甚至完全相反的结论，因而需要解决此问题。 针对共线性问题的解决方案上，可以考虑使用逐步回归进行分析，直接移除出共线性的自变量X，但此类做法导致自己希望研究的变量无法得到研究。此时，可以考虑使用更科学的研究方法即岭回归（Ridge regression）。岭回归是一种改良的最小二乘法，其通过放弃最小二乘法的无偏性，以损失部分信息为代价来寻找效果稍差但回归系数更符合实际情况的模型方程。针对共线性的病态数据，岭回归的耐受性远强于普通线性最小二乘法回归。 岭回归分析（Ridge Regression）用于解决线性回归分析中自变量共线性的研究算法。岭回归通过引入k个单位阵，使得回归系数可估计；单位阵引入会导致信息丢失，但同时可换来回归模型的合理估计。针对岭回归：其研究步骤共为2步,分别是结合岭迹图寻找最佳K值；输入K值进行回归建模。 第一步：岭回归分析前需要结合岭迹图确认K值；K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。K值越小则偏差越小，K值为0时则为普通线性OLS回归；SPSSAU提供K值智能建议，也可通过主观识别判断选择K值 第二步：对于K值，其越小越好，通常建议小于1；确定好K值后，即可主动输入K值，得出岭回归模型估计。 SPSSAU操作截图如下： 如果输入框中不输入值，此时SPSSAU默认是生成岭迹图，即识别最佳K值（当然SPSSAU会智能化建议最佳K值）；如果输入K值，此时SPSSAU则输出岭回归模型结果。  岭回归分析案例 Contents TOC \o 1-3 \h \z \u 1 背景 3 2 理论 3 3 操作 4 4 SPSSAU输出结果 4 5 文字分析 5 6 剖析 5 1 背景 现测得胎儿身高、头围、体重和胎儿受精周龄数据，希望建立胎儿身高、头围、体重去和胎儿受精周龄间的回归模型。根据医学常识情况（同时结合普通线性最小二乘法OLS回归测量），发现三个自变量之间有着很强的共线性，VIF值高于200；因为很明显的可知，胎儿身高、体重之间肯定有着很强的正相关关系。因而此类数据有着很强的共线性，不能使用常见的最小二乘法OLS回归分析。需要使用岭回归模型。 2 理论 岭回归分析（Ridge Regression）用于解决线性回归分析中自变量共线性的研究算法。岭回归通过引入k个单位阵，使得回归系数可估计；单位阵引入会导致信息丢失，但同时可换来回归模型的合理估计。针对岭回归：其研究步骤共为2步,分别是结合岭迹图寻找最佳K值；输入K值进行回归建模。 第一步：岭回归分析前需要结合岭迹图确认K值；K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。K值越小则偏差越小，K值为0时则为普通线性OLS回归；SPSSAU提供K值智能建议，也可通过主观识别判断选择K值； 第二步：对于K值，其越小越好，通常建议小于1；确定好K值后，即可主动输入K值，得出岭回归模型估计。 对于岭回归研究，如果不输入K值，此时SPSSAU默认是生成岭迹图，即识别最佳K值（当然SPSSAU会智能化建议最佳K值）；如果输入K值，此时SPSSAU则输出岭回归模型结果。 3 操作 使用SPSSAU进行岭回归研究时：首先不输入K值，则得到岭迹图用于判断最佳K值（SPSSAU也会智能建议最佳K值）；得到最佳K值后，输入具体值，最终SPSSAU会输出模型结果。 4 SPSSAU输出结果 岭迹图描述不同K值时，自变量进行岭回归时标准化回归系数的变化情况。如果说标准化回归系数趋于稳定，此时对应的最小K值，即为最佳K值。此过程的判断带有一定的主观性，比如上图中，K值看上去选择为0.1，也或者0.05均可。建议以更小的K值作为标准（K值越小对于模型无偏性带来的影响越小）；同时，可直接使用SPSSAU提供的建议最佳K值。 本案例中SPSSAU建议最佳K值为0.01，因而重新进行分析时输入0.01，得到最终岭回归模型结果如下表： Ridge回归分析结果 非标准化系数 标准化系数 t p R2 调整R2 F B 标准误 Beta 常数 9.994 2.002 - 4.991 0.000** 0.959 0.952 139.084(0.000**) 身长(cm) 0.430 0.106 0.608 4.062 0.001** 头围(cm) -0.284 0.151 -0.284 -1.884 0.076 体重(g) 0.007