SPSSAU_进阶方法_Lasso回归.pdf

SPSSAU-在线SPSS分析软件

Lasso回归套索回归多重共线性SPSSAU

Lasso回归（套索回归）分析

在进行线性回归分析时，很容易出现自变量共线性问题，通常情况下VIF值大于10说明

严重共线，VIF大于5则说明有共线性问题；当出现共线性问题时，可能导致回归系数的符号

与实际情况完全相反，本应该显著的自变量不显著，本不显著的自变量却呈现出显著性；共线

性问题会导致数据研究出来严重偏差甚至完全相反的结论，因而需要解决此问题。

针对共线性问题的解决方案上，可以有以下几种处理方法：

编号分析方法备注说明

1逐步回归技巧式处理，让算法移除掉不显著的自变量X

2岭回归回归（Ridge回归）改良最小二乘法，L2正则化

3Lasso回归（套索回归）改良最小二乘法，L1正则化

4主成分分析对数据降维后，得到成分得分去表示‘各主成分’，并且使用成分

得分进行后续比如回归分析

5PLS回归仅针对小样本量进行（比如小于100个样本），同时利用了主成

分降维和回归思想

如果是使用逐步回归解决多重共线性问题，其为‘技巧式’处理，其让算法自动找出显著的

X，通常情况下，此种做法会避开共线性的变量，实质上其并没有直面共线性问题，只是很可

能避开了共线性而已，在实际研究中使用较多；除此之外，Lasso回归和Lasso回归是直观共线

性问题的两种处理方式，Lasso回归和lasso回归在于对损失函数进行改造，但此两种方法的具

体损失函数改造上，Lasso回归是使用L2正则化，Lasso回归是使用L1正则化。相对来讲，

Lasso回归用于解决共线性问题的时候较多，Lasso回归除了有解决共线性问题的功能外，其还

可用于进行‘特征筛选’，即找出有意义的自变量X（特征项），一般在机器学习领域使用此功能

较多。

除此之外，主成分分析是利用降维的思想去解释共线性问题，比如有10个X，其利用降维

原理将10个X降维成比如3个主成分，然后后续再进行分析比如线性回归（此种做法称作主

成分回归）。而PLS回归是同时利用主成分和回归混合在一起的处理方式，一般用于非常小的

样本（比如小于100的样本时），经济领域中使用主成分相对较多，但在其它领域中可能使用

PLS回归相对较多。

类似于RidgeRegression，Lasso回归的分析时也分为两个步骤：分别是结合轨迹图寻找最

佳K值；输入K值进行回归建模。

第一步：Lasso回归分析前需要结合轨迹图确认K值；K值的选择原则是各个自变量的标

准化回归系数趋于稳定时的最小K值。K值越小则偏差越小，K值为0时则为普通线性OLS

回归；SPSSAU提供K值智能建议，也可通过主观识别判断选择K值；

第二步：对于K值，其越小越好，通常建议小于1；确定好K值后，即可主动输入K值，

得出Lasso回归模型估计。

SPSSAU-在线SPSS分析软件

SPSSAU操作截图如下：

如果输入框中不输入值，此时SPSSAU默认是生成轨迹图，即识别最佳K值（当然SPSSAU

会智能化建议最佳K值）；如果输入K值，此时SPSSAU则输出Lasso回归模型结果。

SPSSAU-在线SPSS分析软件

Lasso回归分析案例

Contents

1背景3

2理论3

3操作4

4SPSSAU输出结果4

5文字分析5

6剖析5

1背景

现测得胎儿身高、头围、体重和胎儿受精周龄数据，希望建立胎儿身高、头围、体重去和

胎儿受精周龄间的回归模型。根据医学常识情况（同时结合普通线性最小二乘法OLS回归测

量）