关于高维问题的一些总结.PDFVIP

关于高维问题的一些总结 专业: 概率统计 姓名: 高涛 2013 年 3 月 高维变量选择问题 摘要 本文将简单回顾各类高维变量选择方法，并简单分析它们的性质。 关键词 变量选择；惩罚项 1 背景介绍 以前的模型选择方法多基于AIC、BIC、RIC、MDL、FIC 准则，但是模型自变量 比较多时候，信息准则计算量过大而无能为力，而且选择模型不稳定。这些方法在面对 高维问题时，多用来调参。其实模型选择的问题也就是变量选择的问题，它有以下几个 目标： (1) 对于数据驱动模型来说，首先要预测准确? (2) 模型具有可解释性，选择的变量具有实际的意义? (3) 选择的模型比较稳定，数据的微小变动不会导致模型发生巨大变化； (4) 估计量要有一致性； (5) 模型选择过程计算复杂程度要低? 基于penalty OLS 即一种新的模型选择方法（变