稀疏贝叶斯学习SparseBayesianLearning-UCSDDSPLAB.PDFVIP

稀疏贝叶斯学习(Sparse Bayesian Learning) 张智林（Zhilin Zhang ）  z4zhang@ Department of Electrical and Computer Engineering, University of California, San Diego, La Jolla, CA 92093-0407, USA 1 引言 稀疏贝叶斯学习（Sparse Bayesian Learning, SBL）最初作为一种机器学习算法由Tipping 于 2001 年 前后提出[Tipping2001]，随后被引入到稀疏信号恢复/压缩感知领域[Wipf2004,Ji2008]。Wipf 和 Rao 等人 对 SBL 进行了深入的理论研究。与广泛使用的基于 L1 惩罚项的算法（比如 Lasso ，Basis Pursuit ）相比 （以下简称L1 算法），SBL 具有一系列显著的优势：（１）在无噪情况下，除非满足一些严格的条件 [Donoho2003]，L1 算法的全局最小点（global minimum ）并不是真正的最稀疏的解［Wipf2004] 。因此， 在一些应用中，当真实的解是最稀疏的解，采用 SBL 是更好的选择。（２）当感知矩阵（sensing matrix ） 的列与列相关性很强时，L1 算法的性能会变得非常差。事实上不光是 L1 算法，绝大多数已知的压缩感 知算法（比如 Approximate Message Passing 算法，Matching Pursuit 算法）在这种情况下性能都会变得很 差。相比之下，SBL 算法仍旧具有良好的性能［Wipf_NIPS2011] 。因此，在雷达追踪，波达方向估计， 脑源定位，特征提取，功率谱估计等一些列领域，SBL 都具备显著的优势。（３）业已证明，SBL 算法 等价于一种迭代加权 L1 最小化算法（iterative reweighted L1 minimization ），而L1 算法仅仅只是其第一 步[Wipf2010] 。Candes 等人指出，迭代加权 L1 最小化算法更易获得真正的最稀疏解[Candes2008] 。从这 个角度也就不难理解 SBL 的优越性。（４）在很多实际问题中，所期望的稀疏解常常有一些结构，而利 用这些结构可以获得更好的性能[ModelCS] 。作为一种贝叶斯算法，SBL 算法对利用这些解的结构信息 提供了更多的灵活性。这种灵活性最主要来自于 SBL 采用参数化的高斯分布为解的先验分布。最近Zhang 和 Rao 提出了块稀疏贝叶斯学习框架(Block Sparse Bayesian Learning, BSBL)[Zhang_IEEE2011, Zhang_TSP2012] 。该框架提供了一种利用解的空间结构（spatial structure ）和时序结构（temporal structure ） 的解决方案。由其框架得到的算法在多任务学习（multi-task learning ）[Wan2012]，生理信号的无线传输 和远程监控[Zhang_TBME2012a, Zhang_TBME2012b]，脑源定位和脑－机接口[Zhang_PIEEE2012]等许多 领域获得了极大的成功。 下面将首先介绍基本的 SBL 框架，然后对 BSBL 框架及其算法进行详细介绍，并在最后给出一些 代表性的实验结果。 2 稀疏贝叶斯学习 压缩感知的基本模型可描述为: y Ax v + （1） A y x 其中 为N×M的感知矩阵， 为N×1维压缩信号， 为M维待求的解向量， 为未知的噪声向量。为求 v x x γ 解 ，SBL假设 中的每个元素都服从一个参数化的均值为０方差为 i 的高斯分布[Wipf2004] ：