具有Log型惩罚函数的稀疏正则化.pdfVIP

2015年 2月 纯粹数学与应用数学 Feb．2015 第 31卷 第 1期 PureandAppliedMathematics Vo1．31 No．1 具有 Log型惩罚函数的稀疏正则化 高雅 张海 (西北大学数学学院，陕西 西安 710127) 摘要：研究具有 Log型惩罚函数的稀疏正则化，给出一种新的非凸变量选择及压缩感 知策略 提 出一种高效快速 闽值迭代算法．并通过变量选择 问题和稀疏信号重建验证 了 所提 出的Log型稀疏正则化模型的有效性． 关键词：压缩感4v；闽值迭代算法；稀疏性 中图分类号：0233 文献标识码：A 文章编号：1008—5513(2015)01～0027-09 DOI：10．3969／j．issn．1008—5513．2015．01．004 1 引言 高维数据分析是当前统计学、金融经济学、计算机科学和生物信息学等领域面临的主要 问题之一．伴随着科学技术的快速发展，各个学科均产生 了大批量数据 1【J．例如在高能物理 领域，作为信息技术发展的主要推动者之一，高能物理的实验数据量每年已经超过 IOOPB(干 亿万字节，IPB=22oGB)，且随着实验规模的不断扩大，实验复杂性的不断增加，现代高能物 理产生的海量数据对数据分析研究提 出巨大的挑战．例如在生物信息领域，生物技术的进步 带来基 因组学，蛋白组学，各种组学的出现，使得海量数据 的积累变得非常迅速，其 中仅个 人的基因数据都以CB(千兆字节，1GB=1024MB)作为数据量单位．再比如说在信息技术方 向，截止到2012年，数据量已经从TB(万亿字节，1TB=1024GB)级别跃升到 PB，EB(百亿亿 字节，1EB=1024PB)乃至 ZB(十万亿亿字节，1ZB=1024EB)级别．IBM 的研究称，整个人类 文明所获得的全部数据中，有 90％是过去两年内产生的．而到了2020年，全世界所产生的数据 规模将达到今天的44倍．从而开展如何有效利用高维海量数据的大数据研究成为了各个科学 研究领域面临的挑战与机遇． 稀疏正则化方法是解决高维数据分析的有力工具之一．经典的变量选择方法 0正则化 方法最早用于变量选择和特征提取，主要是 以参数个数为约束，进而得到最优的变量选择结 果．但是 0正则化方法需要求解一个组合优化问题，即NP难问题，难度较大不易实现．1996 年，Tibshirani[2J提 出了 1正则化方法，即 Lasso方法．Lasso方法求解 的是一个凸优化 问 收稿 日期：2014-10—15． 基金项 目：国家自然科学基金 ． 作者简介：高雅 (199o-)，~-~-tk，研究方向：机器学习 28 纯粹数学与应用数学 第 31卷 题，它在完成变量选择的同时可估计出参数值．从而给 出了一种全新的变量选择方法．基于 此，Lasso方法在上个世纪 90年代后期开始广泛应用于统计学及信号处理等领域．但是、Lasso 方法的解不具有一致性，当数据之间有某种强相关性时，不能有效选择正确变量．对于此问题有 两种研究方向．其一，研究在何种条件下，Lasso具有解的一致性．此方面研究见文献 f3—51．另 一 种研究方向为如何提出一种新的惩罚函数方法将问题解决，此方面研究见文献 f6-91．Candes 在文中 3【J提出一种加强 1正则化方法，同时给出一种重赋权 Lasso方法，并猜测 Log型惩罚 函数会具有很好的稀疏信号重建能力． 基于 Candes的研究工作，本文研究具有 Log型的惩罚函数及其快速算法，并通过变量选 择和信号重建进行两组实验，说明具有 Log型惩罚函数的正则化方法具有有效性． 2 具有 Log型惩罚函数的稀疏正则化方法 本节首先给出一些记号，并给出Log型惩罚函数，并进一步给出一种快速高效的求解方法． 稀疏正则化方法的重大应用领域是稀疏信号重建．为了更好地理解本文的研究方法，下面 从稀疏信号重建问题开展研究．其结果可简单推广到其他应用领域．一般地，稀疏信号重建问 题描述为：假设有一个有限长度的信号叫