高级计量经济分析及Stata应用 课件 第13章 lasso回归.pptx

Lasso回归上海师范大学商学院

授课大纲13.1lasso回归预测及模型选择13.2平方根回归13.3弹性网回归2025/4/142

标题Lasso最初是“最小绝对收缩和选择算子”（leastabsoluteshrinkageandselectionoperator，LASSO）的首字母缩写。今天Lasso（套索）被认为是一个词，而不是首字母缩略词。Lasso是一种选择和拟合模型中出现的协变量的方法。lasso命令可以拟合线性、logit、probit和泊松模型。套索可以用于预测，用于模型选择，并作为估计法的一个组成部分来执行推论。

套索、弹性网和平方根套索可以用于模型选择和预测。Stata软件的lasso、elasticnet和sqrtlasso命令实现了这些方法。套索和弹力网拟合连续、二进制和计数结果，而sqrtlasso拟合连续结果。2025/4/144

13.1lasso回归预测及模型选择13.1.1lasso回归估计13.1.2最优值的确定13.1.3惩罚和后选择系数13.1.4lasso回归预测及模型选择的命令与实例2025/4/145

13.1.1lasso回归估计

lasso和elasticnet通过寻找惩罚目标函数的最小值来估计参数。lasso的惩罚目标函数为：（13.1）其中N是观察次数；wi是观察水平权重；是截距，是1×p维的协变量向量；是1×p维的系数向量，是大于等于0的套索惩罚参数；kj是系数权重。2025/4/146

13.1.1lasso回归估计对于线性回归、logit回归、probit回归或泊松模型，f（?）是似然贡献；当模型为线性回归时，（13.2）当模型为logit回归时，（13.3）2025/4/147

13.1.1lasso回归估计当模型为probit回归时，（13.4）当模型为poisson时，（13.5）如果指定了cluster（·）选项，则对数似然度计算为集群级别的对数似然度之和。2025/4/148

13.1.1lasso回归估计带簇套索的惩罚目标函数为（13.6）式中，是集群总数，Ti是集群i中的观测数量。对于集群i中的第t个观测，是其观测水平权重，是因变量，是协变量。2025/4/149

13.1.2最优值的确定要使用lasso，我们需要决定的哪个值最好。我们将选定的最优值表示为。为lasso选择的四种方法是交叉验证法（cross-validation，CV）、自适应套索、插件估计法和BIC。套索命令有四个不同选择的选项方法：selection(cv),selection(adaptive),selection(plugin),selection(bic),和selection(none)。2025/4/1410

（1）selection(cv)有两种变体：一个是默认值，它最小化CV函数选择作为最优值；另一个是selection（cv，serule），它在较大方向上的最小值选择一个作为一个标准误差。2025/4/1411

对应每个估计系数后，计算CV函数的值。默认情况下，CV将数据随机分成10个折叠。（这是随机使用数字。）选择一个折叠，然后对于既定的