高维因子模型的降维与选择方法.docxVIP

高维因子模型的降维与选择方法

一、高维因子模型的发展脉络与核心问题

（一）从传统因子模型到高维场景的演进

随着大数据采集和存储技术的不断发展，各个研究领域面临的数据维度正在快速提升，从心理学研究中包含上千道题项的测量量表、宏观经济研究中覆盖各领域的上百个月度监测指标，到基因组学研究中上万个基因表达位点、互联网研究中刻画用户行为的高维特征，传统统计建模方法已经难以适配“维度高、噪声大、结构复杂”的数据特征。高维因子模型作为从高维观测变量中提取潜在核心结构的经典方法框架，已经成为跨领域高维数据分析的核心工具，而降维方法的优化、因子的有效选择，是决定高维因子模型应用效果的核心环节。

因子分析的思想最早起源于心理学研究，旨在从大量可观测的测试题项中提取少数潜在的心理特质，这类传统因子模型通常假设观测变量的维度固定，样本量远大于变量维度，估计方法以极大似然估计为主，在小维度场景下具备良好的表现。但随着数据采集能力的提升，研究中遇到的变量维度逐渐从几十维上升到成百上千甚至上万维，变量维度甚至可能超过样本量，传统因子模型的固定维度假设和估计方法不再适用，这一现实需求推动了高维因子模型理论体系的建立。有学者系统证明了当观测变量的截面维度和时间维度同时趋向于无穷大时，基于主成分思想的因子估计方法可以获得一致的因子空间和载荷估计，为高维场景下的因子建模奠定了理论基础（白聚山，2003）。发展至今，高维