形象易懂算法II——压缩感知.doc

形象易懂讲解算法II——压缩感知 之前曾经写过一篇关于小波变换的回答，得到很多赞，十分感动。之后一直说要更新，却不知不觉拖了快一年。。此次更新，思来想去，决定挑战一下压缩感知（compressed sensing, CS）这一题目。 在我看来，压缩感知是信号处理领域进入21世纪以来取得的最耀眼的成果，并在磁共振成像、图像处理等领域取得了有效应用。压缩感知理论在其复杂的数学表述背后蕴含着非常精妙的思想。基于一个有想象力的思路，辅以严格的数学证明，压缩感知实现了神奇的效果，突破了信号处理领域的金科玉律——奈奎斯特采样定律。即，在信号采样的过程中，用很少的采样点，实现了和全采样一样的效果。 正是被它的精妙思想所打动，我选择它作为专栏第二篇的主题。理解压缩感知的难度可能要比之前讲的小波还要大，但是我们从中依然可以梳理出清晰的脉络。这篇文章的目标和之前一样，我将抛弃复杂的数学表述，用没有公式的语言讲清楚压缩感知的核心思路，尽量形象易懂。我还绘制了大量示意图，因为排版问题，我将主要以PPT的形式呈现，并按slice标好了序号。 --------------------------------------------------------------------------------------------------------------------------- 一、什么是压缩感知（CS）？ compressed sensing又称compressed sampling，似乎后者看上去更加直观一些。没错，CS是一个针对信号采样的技术，它通过一些手段，实现了“压缩的采样”，准确说是在采样过程中完成了数据压缩的过程。 因此我们首先要从信号采样讲起： 1. 我们知道，将模拟信号转换为计算机能够处理的数字信号，必然要经过采样的过程。问题在于，应该用多大的采样频率，即采样点应该多密多疏，才能完整保留原始信号中的信息呢？ --------------------------------------- 2. 奈奎斯特给出了答案——信号最高频率的两倍。一直以来，奈奎斯特采样定律被视为数字信号处理领域的金科玉律。 --------------------------------------- 3. 至于为什么是两倍，学过信号处理的同学应该都知道，时域以τ为间隔进行采样，频域会以1/τ为周期发生周期延拓。那么如果采样频率低于两倍的信号最高频率，信号在频域频谱搬移后就会发生混叠。 --------------------------------------- 4. 然而这看似不容置疑的定律却受到了几位大神的挑战。Candes最早意识到了突破的可能，并在不世出的数学天才陶哲轩以及Candes的老师Donoho的协助下，提出了压缩感知理论，该理论认为：如果信号是稀疏的，那么它可以由远低于采样定理要求的采样点重建恢复。 --------------------------------------- 5. 而突破的关键就在于采样的方式。当我们说“采样频率”的时候，意味着做的是等间距采样，数字信号领域通常都是做等间距采样，也服从奈奎斯特采样定律。 但是如果是不等间距采样呢？依然必须要服从采样定理吗？ --------------------------------------- 6. 答案是，随机的亚采样给了我们恢复原信号的可能。 上图非常关键，它可以简单直观地表述压缩感知的思路。 如图b、d为三个余弦函数信号叠加构成的信号，在频域的分布只有三条线（图a）。 如果对其进行8倍于全采样的等间距亚采样（图b下方的红点），则频域信号周期延拓后，就会发生混叠（图c），无法从结果中复原出原信号。 --------------------------------------- 7. 而如果采用随机亚采样（图b上方的红点），那么这时候频域就不再是以固定周期进行延拓了，而是会产生大量不相关（incoherent）的干扰值。如图c，最大的几个峰值还依稀可见，只是一定程度上被干扰值覆盖。这些干扰值看上去非常像随机噪声，但实际上是由于三个原始信号的非零值发生能量泄露导致的（不同颜色的干扰值表示它们分别是由于对应颜色的原始信号的非零值泄露导致的） P.S：为什么随机亚采样会有这样的效果？ 这可以理解成随机采样使得频谱不再是整齐地搬移，而是一小部分一小部分胡乱地搬移，频率泄露均匀地分布在整个频域，因而泄漏值都比较小，从而有了恢复的可能。 --------------------------------------- 8. 接下来的关键在于，信号该如何恢复？ 下面讲一种典型的算法（匹配追踪）： (1) 由于原信号的频率非零值在亚采样后的频域中依然保留较大的值，其中较大的两个可以通过设置阈值