贝叶斯压缩传感刘振圻-课件.pptVIP

Bayesian compressive sensing 贝叶斯压缩传感（BCS）是一个为了解决CS反问题的贝叶斯框架。基本的BCS算法采用了相关向量机（RVM）。 CS的贝叶斯分析除了提供一个贝叶斯解法，更重要的是提供了一个新的框架。 目前还没有得到解决的问题： （一）当CS有足够测量数量时的“停止标准” （stopping criterion）。 （二）投影矩阵的自适应设计。 贝叶斯压缩传感 如何实现对权值和噪声方差的后验估计呢？ 则 ，设 独立同分布,则整个训练样本的似然函数可以表示出来。对 与 的求解如果直接使用最大似然法，结果通常使 中的元素大部分都不是0，从而导致“过学习”。 在RVM 中我们想要避免这个现像，因此我们为 加上先决条件，那它们的机率分布是落在0 周围的正态分布 。于是对 的求解转化为对 的求解，当 趋于无穷大的时候， 趋于0. RVM的步骤可以归结为下面几步： 1.核函数的选择导致：特征向量映射到高维空间。 核函数的选取：RBF核函数，Laplace核函数，多项 式核函数等。 其中，高斯核函数应用最为广泛。选择高斯核函数最 重要的是带宽参数的选择： 带宽过小，则导致“过学习” 带宽过大，又导致“过平滑” 2. 初始化 。在RVM中 是通过迭代求解的， 所以需要初始化。（但是初始化对结果影响不大） 3. 迭代求解最优的权重分布。 4. 预测新数据 首先对 的每一个元素赋零均值的高斯先验，即： 其次对 赋Gamma先验，即： 上两式结合得： 由以上RVM的分析和BCS模型得知，对于超参数 的估计，通过对数边缘似然函数来求得： 其中 快速RVM算法 对于上式的C,我们做如下分解： 表示C中第i个向量被消除后的矩阵。 表示矩阵 的第i行向量。于是边缘似然函数变成： 其中 目标函数 可分解为去除基函数 后的边缘似然函数 与关于 的独立表达式 其中 叫稀疏因子 叫质量因子 通过分析 表明， 关于 存在唯一最大值。当 时， ；当 时， 。 通过采样这种方法，可以直接计算出所有的基函数 对应的 和 算法流程图 总结一下： 谢谢 * * * * * 其中 叫权值（权重） g 是采样的数据 无噪声情况下 B是基函数，f在B下稀疏化，那么W就是f的等价形式。 但是存在着高斯噪声和采样过程中产生的噪声，于是上式g变成了： ↓ 采 样 其中 的成份都近似是不知道方差的高斯噪声。于是针对上式我们引入高斯模型： 需要估算的： （权值） （噪声的方差） 应用贝叶斯分析，对 和 进行后验估计（寻找一个后验密度函数） 利用的就是：sparse Bayesian learning 中的相关向量机（RVM）原理. RVM的原理：RVM通过最大化后验概率（MAP）求解相关向量的权重。对于给定的训练样本集{tn,xn}，RVM 的模型输出定义为： 其中 为权值， 为核函数。因此对于 假设噪声服从均值为0方差为 的高斯分布。 ｛ Graphical model of the Bayesian CS formulation 其中， 是均值为0，方差为 的高斯密度函数。 是共轭密度函数。