基于Overlap_Gro稀疏高维广义线性模型的估计.pdfVIP

目录

第1章绪论1

1.1研究背景1

1.2国内外研究现状2

1.3本文主要研究内容5

第2章预备知识6

2.1GroupLasso高维广义线性模型6

2.2OverlapGroupLasso高维广义线性模型9

2.3本章小结13

第3章OverlapGroupLasso的自适应双稀疏高维广义线性模型的估

计14

3.1自适应双稀疏高维广义线性模型的OverlapGroupLasso方法14

3.2HDGLMs-ADSOGL算法求解15

3.3估计量的有限样本性质17

3.4数值模拟25

3.5本章小结28

结论29

参考文献30

摘要

摘要

本文主要讨论了当预测变量具有结构化稀疏性的形式时,广义线性模型的参

数估计与变量选择的相关理论问题.结构稀疏性(StructuredSparsity)是组结构的

一种自然推广,是指模型中的支撑集不仅仅具有稀疏性而且还有某种结构特征.当

数据集中的变量具有某种复杂的结构特征,比如:重叠组结构或图结构时,如何有

效地利用变量之间的结构信息提高模型选择,估计和预测的效果,越来越成为人们

关注的问题.本文第一章简要介绍了研究背景,目前高维领域常用的正则化方法的

国内外研究现状,以及研究思想和主要创新之处.第二章介绍了结构化稀疏的主流

模型,从GroupLasso引入,并应用到高维广义线性模型,接着介绍LatentGroup

Lasso,最后介绍了单稀疏的OverlapGroupLasso高维广义线性模型.第三章主要

介绍了自适应双稀疏OverlapGroupLasso高维广义线性模型,并证明了其估计量

的有限样本性质,并将相应的理论结果应用到Logistic回归模型.

组结构是结构化稀疏问题中经常见到的一种结构类型.当变量之间具有某种

组结构时,适当的利用组结构信息能够提高模型的预测和解释能力.但是当组与

组之间相互重叠时,传统的GroupLasso方法通常不能完整地利用组结构信息.单

稀疏OverlapGroupLasso在其基础上通过复制重叠变量解决了此问题,但单稀疏

OverlapGroupLasso选出来的组内变量的稀疏性无法保证.

为了解决上述问题,本文提出双稀疏OverlapGroupLasso方法,确保了在单

稀疏OverlapGroupLasso方法整组选择变量之后,组内变量同样稀疏,为了更好

地平衡惩罚力度,引入了自适应权重.本文讨论了自适应双稀疏OverlapGroup

Lasso方法,并将该方法应用到高维广义线性模型中.在很一般的条件下,给出了

估计误差和预测误差的界.最后,将相应的理论结果应用到Logistic回归模型,模

拟结果取得了预期效果.

关键词高维广义线性模型;重叠组;自适应双稀疏

–I–

哈尔滨师范大学硕士学位论文

Abstract

Thispapermainlydiscussesthetheoreticalproblemsrelatedtoparameteres-

timationandvariableselectionofgeneralizedlinearmodelswhenthepredictive

variableshavetheformofstructuredsparsity.Structuralsparsity(StructuredS-

parsity)isanaturalextensionofgroup