基于Lasso的高维数据线性回归模型统计推断方法比较.pdfVIP

山西医科大学硕士学位论文 基于Lasso的高维数据线性回归模型统计推断方法比较 摘要 目的： 木文将介绍五种基于Lasso 的高维数据线性回归模型统计推断方法：Lasso-惩罚 计分检验(Lasso Penalized Score Test,Lassoscore) ,多重样本拆分(Multiple Sample-Splitting,MS-split) 稳定选择(Stability Selection) 低维投射(Low-Dimensional Projection Estimate,LDPE)、协方差检验(Covariance test,Covtest),并将这五种方法作比 较，分析其在不同高维数据情形下的表现。 方法： 分别介绍Lasso-惩罚计分检验、多重样本拆分、稳定选择、低维投射、协方差检 验的基本原理。利用以下四个参数设置模拟数据，分别为：7种样本量片50、75、100、 150、200、300、400；两种自变量个数2=100、300；两种自变量间相关性，一是自变 量间相互独立，二是自变量间相关性为coEXK/AOS闻；两种回归系数大小，一是 小=尸2=夕3=夕4=夕5=5,份=0,户5。二是£1=夕2=夕3=夕4=夕5=0.15,份=0,户5。以上四个参数 分别构成不同情形的高维数据。采用R软件模拟数据并用五种方法做统计推断，最后 以期望假阳性率(Expected False Positives,EFP)和检验效能(power)为评价指标，比较这 五种方法在不同高维数据情形下的表现。 结果： 在理想高维数据情形下五种方法除协方差检验推断结果保守外其余方法表现都 较好，其中稳定选择的EFP最低而检验效能最高，在五种方法中表现最好。低维投 射、稳定选择、多重样本拆分都对Amin条件有要求，其中稳定选择过于其依赖£min条 件，所以在复杂高维数据情形下检验效能大幅度降低，表现差。在复杂高维数据情形 下低维投射在大样本和小样本下表现都较保守，虽然在中等样本量时检验效能很高， 但是以引入极高的假阳性为代价的。无论在何种数据情形下协方差检验推断结果都很 I 山西医科大学硕士学位论文 保守。在复杂高维数据情形下Lasso-惩罚计分检验的检验效能是五种方法中最高的， 其次为多重样本拆分，而Lasso-惩罚计分检验的EFP也是最高的，多重样本拆分的 EFP基本接近Oo 结论： 在常见复杂高维数据情形下Lasso-惩罚计分检验发现真实非零变量的能力优于 其余四种方法，且其对6mm 的要求低，但期望假阳性率高。多重样本拆分的发现真实 非零变量的能力虽然依赖于数据对条件的满足与否，但当条件不满足时仅次于 Lasso-惩罚计分检验，且其期望假阳性率极低。所以在常见复杂高维数据中Lasso-惩 罚计分检验和多重样本拆分是两种较好的高维线性回归模型统计推断方法，两者相对 而言前者较宽松，后者较保守。在实际应用中虽然无法得知真实数据是否满足Qmin条 件，但可根据应用需求来选择合适的统计推断方法。 关键词：高维数据；Lasso ；统计推断；线性回归 山西医科大学硕士学位论文 Comparison Of Statistical Inference Methods Based On Lasso For High Dimensional Data In Linear Regression Models Abstract Objective This paper will introduce five statistical inference methods based on Lasso for high dimensional data in linear regression models: Lasso Penalized Score Test (Lassoscore)、 Multiple Sample-Splitting(MS-split)^ Stability Selection、Low-