lasso.docVIP

回归收缩以及通过LASSO选择变量 ROBERT TIBSHIRANI 加拿大多伦多大学 （1994.1 接收。 1995.1修订） 摘 要 在线性模型预测中，我们再次提出一个新的方法——LASSO，其最小残差平方和服从系数的绝对值的总和小于一个常数。由于这个特性，这种方法倾向于减少一些精确为0的系数而因此给出可解释的模型。我们的模拟研究显示LASSO在岭回归的子集选择中有一些有利的方面，其提出的可解释的模型就像子集的选择而且显示出了岭回归的稳定性。LASSO也与Donoho和Johnstone提出的自适函数估计有着令人感兴趣的关系。这种方法可以相当普遍的应用于很多数据模型中，例如：扩展广义回归模型和基于树的模型可以简略的描述。 关键字：二次规划，回归，收缩，子集选择法 1.介绍 考虑到一般的回归情况：我们有数据,i=1,2,3........N,和分别是第i组观测值的自变量和因变量。原始的最小二乘估计是通过最小残差平方和获得的，所以有两个原因使得数据的分析往往和最小二乘估计不符。第一，就是剩余方差最小化。最小二乘估计通常斜率较小，方差较大，预测精度有时可以通过收缩或将某些系数设为0而提高。通过这样做，我们通过牺牲一点斜率来减少预测结果的方差。第二，就是模型的解释。对于大量的预测值，我们更愿意判断模型在一个更小的子集当中显示出来的最好的结果。 为了提高最小二乘估计的两个技术标准，子集选择法和岭回归都有缺陷。子集选择法可以得出一个可以解释的模型，但是给出的模型过于多变，而回归过程本身是离散的——因变量既不能被保留，也不能从模型中剔除。数据中的小变动会影响由子集选择法得出的不同模型而且还会降低模型的预测精度。岭回归是一个连续的过程，由于其不断收缩系数，因此较平稳。然而，他并没有将任何系数收缩为0，因而这个方法不能给出一个简单的可解释的模型。 在此，我们提出一个新的方法，成为LASSO，就是“绝对收缩和选择算子”。它使一些系数收缩并将其他的设为0，因此就是说它尝试保留了子集选择法和岭回归的好的性质。 在第二部分，我们会解释LASSO这个方法并且寻找一些特例。一个真实的数据例子将在第三部分给出，在第四部分我们将讨论这种方法的预测误差和LASSO的收缩系数。在第五部分，一个LASSO的贝叶斯（Bayes）模型将被被简略的提到。在第六部分我们将描述LASSO的运算法则，模拟实验将在第七部分加以描述。第八和第九部分讨论了推展扩广的回归模型的其他问题。一些软阙值的结论以及其和LASSO之间的关系将在第十部分讨论，第十一部风包含了文章的总结和一些结论。 LSAAO 2.1 定义 假设我们有数据，是自变量，是因变量。在一般回归建立过程中，我们假定要么观测值独立或者关于给出的独立。我们假设是标准化的，即。 令，用LASSO预测的结果为 并服从 （1） 这里是个可调整参数。现在，对于所有的，对的预测就是。我们不失一般性的假定从而舍弃。 估算（1）的结果是一个线性不等约束的二次规划问题，在第六部分我们会介绍一些解决这类问题的有效且平稳的运算法则。 参数控制的是预测值收缩的总量。使得为完整最小二乘估计且。当时会使得模型的收缩量趋向于0且一些系数可能等于0.例如，如果，则结果将完全和寻找的最优子集相似。同时需要注意的是矩阵不需要全秩。在第四部分，我们给出一些基础的数据方法来预测 LASSO的想法来自于Breiman的一个令人感兴趣的提议。Breiman的非负garotte最小形式为 使得且。 （2） Garotte算法以一般最小二乘预测开始而且收缩其系数使其非负系数的和小于一个常数。在大量的模拟实验中Breiman的garetto方法显示其相对子集选择法具有较低的预测误差，而且当真实模型具有较多非零系数时，在预测方面，garetto方法和岭回归法的预测效果不相上下。 Garotte方法的缺点是他的结论依赖于最小二乘估计的估计和量度。在过度或高度相关时，garetto和最小二乘一样表现乏力，相反的，LASSO则避免了最小二乘预测的直接使用。 Frank和Friedman提出给标准的系数一个约束条件，这里比0更好或者等于0；LASSO里直接相当于。我们将在第十部分对此进行简略的讨论。 2.2 正交设计案例 从标准正交设计案例中可以对收缩的本质有深入了解。设矩阵，其中第行第列元素为，且假定单位矩阵。 对于等式（1）的结论可以简单表示为 （3） 这里由条件来确定。有趣的是这个恰好与Don