结构稀疏模型及其算法研究进展 - 计算机科学.pdfVIP

Vo 1. 43 No. 6A 第 43 卷第6A 期 计算机科学 2016 年 6 月 Computer Science June 2016 结构稀疏模型及其算法研究进展 刘建伟崔立鹏罗雄麟 (中国石油大学(北京)自动化系 北京 102249) 摘 要 结构稀疏模型在统计学、信号处理和机器学习等领域中具有重要的应用。结构稀疏模型主要通过在目标函 数中引入会导致纽稀疏效果的罚函数来实现特征纽结构选择。有趣的是一些组稀疏模型不仅能实现特征纽选择，而 且同时能够实现纽内的特征选择。根据使用的罚函数的类型，结构稀疏模型主要分为纽套索模型和非凸罚纽稀疏模 型两大类。系统地总结了重要的纽结构稀疏模型，分析了各种纽结构稀疏模型之间的区别与联系，归纳比较了各种纽 结构稀疏模型的统计特性(例如模型选择一致性、参数估计一致性和 oracle 性质)和组结构稀疏模型的求解算法。当 前，结构套索模型主要包括普通纽套索模型、L∞ 1 纽套索模型、重叠纽套索模型、树纽套索模型、多输出树纽套索模型、 混合组套索模型、自适应纽套索模型、逻辑斯蒂纽套索模型和贝叶斯纽套索模型。非凸罚纽稀疏模型包括纽SCAD 罚 模型、组桥模型和组 MC罚模型等。求解组稀疏模型的算法有组最小角回归算法、决坐标下降(上升)算法、活动集算 法、内点算法、投影梯度算法、谱投影梯度算法、轮换方向乘子算法和决坐标梯度下降算法等，结合组稀疏模型对这些 算法进行了详细的分析。在使用上述优化方法前，通常需要对目标函数进行预处理，将不平滑的、非凸的、决坐标不可 分离的纽稀疏模型的目标函数向平滑、凸、块坐标可分离的方向进行转化，这一步常利用的技巧有变分不等式、N臼te­ rov的平滑近似技巧、局部一阶泰勒展开近似、局部二次近似、对偶范数和对偶函数等。接着给出了最新提出的一些纽 稀疏模型，如关于广义加模型的纽套索模型、复合组桥模型、平方根纽套索模型和关于 Tobit 模型的纽套索模型等。 最后，对组稀疏模型未来的研究方向进行了探讨。 关键词 稀疏，组稀疏，罚函数，组套索，特征纽选择，组内特征选择，算法 中固法分类号 TP181 文献标识码 A Research and Development on Structured Sparse Models and Algorithms LIU Jian-wei CUI Li-peng LUO Xiong-lin (Department of Automation ,China University of Petroleum ,Beijing 10Z249 ,China) Abstract The group sparse model has many important applications in the statistics , signal processing and machine leaming. The group sparse model achieves feature group selection through introducing the sparsity-inducing penalty function into the objective functio n. Its interesting that some group sparse models can achieve feature group sele