高维数据下的变量选择方法：LASSO、岭回归与弹性网.docxVIP

高维数据下的变量选择方法：LASSO、岭回归与弹性网

一、引言：高维数据时代的变量选择困境与解决方案

（一）高维数据的兴起与挑战

随着信息技术的快速发展，基因测序、金融风控、互联网营销、智慧城市等领域产生了海量的高维数据。这类数据的核心特征是变量数量远大于样本数量，有时变量数甚至是样本数的数十倍乃至上百倍。例如，在基因表达数据中，单个样本可能包含数万个基因的表达量信息，而样本规模往往只有几百个（FanLi，2001）。传统的统计分析方法，如普通最小二乘法，在面对这类数据时会陷入“维度灾难”：不仅模型参数估计的方差会急剧增大，导致模型不稳定、泛化能力差，还会因为变量过多而难以解释，无法挖掘出真正影响结果的关键因素。

（二）变量选择的核心价值与方法演进

变量选择的本质是从众多候选变量中筛选出对因变量有显著影响的子集，其核心价值体现在三个方面：一是降维简化，减少模型复杂度，提升模型的可解释性；二是避免过拟合，降低模型方差，增强泛化能力；三是挖掘核心因素，帮助研究者或从业者理解数据背后的因果关系。早期的变量选择方法主要包括子集选择、逐步回归等，但这些方法存在明显缺陷：子集选择需要遍历所有可能的变量组合，计算量随变量数呈指数增长，在高维场景下几乎不可行；逐步回归是贪婪算法，容易陷入局部最优，且无法处理多重共线性问题（Miller，2002）。为解决这些问题，正则化方法应运而生，其中岭回归