压缩传感引论.PDFVIP

“压缩传感”引论 香港大学电机电子工程学系 高效计算方法研究小组 沙威 2008年 11 月 20日 Email: wsha@eee.hku.hk Personal Website: http://www.eee.hku.hk/~wsha 到了香港做博士后，我的研究领域继续锁定计算电磁学。我远离小波和计算时谐分析有 很长的时间了。尽管如此，我仍然陆续收到一些年轻学者和工程人员的来信，和我探讨有关 的问题。对这个领域，我在理论上几乎有很少的贡献，唯一可以拿出手的就是几篇网上发布 的帖子和一些简单的入门级的代码。但是，从小波和其相关的理论学习中，我真正懂得了一 些有趣的知识，并获益良多。我深切地感到越来越多的学者和工程师开始使用这个工具解决 实际的问题，我也发现互联网上关于这方面的话题多了起来。但是，我们永远不能只停留在 某个阶段，因为当今学术界的知识更新实在太快。就像我们学习了一代小波，就要学习二代 小波；学习了二代小波，就要继续学习方向性小波（X-let）。我也是在某个特殊的巧合下不 断地学习某方面的知识。就像最近，我的一个友人让我帮她看看“压缩传感”（Compressive Sensing）这个话题的时候，我的兴趣又一次来了。我花了一个星期，阅读文献、思考问题、 编程序、直到写出今天的帖子。我希望这篇帖子，能对那些没进入且迫切想进入这个领域的 学者和工程师有所帮助。并且，我也希望和我一个星期前一样，对这个信号处理学界的“一 个大想法”（A Big Idea）丝毫不了解的人，可以尝试去了解它。我更希望，大家可以和我 探讨这个问题，因为我到现在甚至不完全确定我对压缩传感的某些观点是否正确，尽管我的 简单的不到 50 行的代码工作良好。在这个领域中，华裔数学家陶哲轩和斯坦福大学的统计 学家 David Donoho 教授做出了重要的贡献。在这个引言中，我用简单的关键字，给出我们 为什么需要了解甚至是研究这个领域的原因。那是因为，我们从中可以学习到，下面的这些： 矩阵分析、统计概率论、拓扑几何、优化与运筹学、泛函分析、时谐分析（傅里叶变换、小 波变换、方向性小波变换、框架小波）、信号处理、图像处理等等。所以，我们有什么理由， 拒绝这个有意思的东西呢？让我们开始吧。 传统思路——正交变换 对于一维的信号 x ∈R N ×1 ，大多数情况下，信息是冗余的。我们可以通过正交变换的 方法来压缩它。正变换： H H H N ×N y Ψx ，反变换x Ψ y 。这里，ΨΨ Ψ Ψ I ，Ψ∈C ， I 是单位矩阵。对于y ∈CN ×1 ，能量较x 集中，本质上去除了x 中的相关性。因此，我们只 保留K 个较大的分量，而把其它N −K 个置为零。通过反变换，我们能够近乎完美的重建 原始信号。因为，那N −K 个变换域系数的贡献，实在微乎其微。具有这样性质的信号被 称为K “稀疏”（Sparsity）的。于是，我们有了如下编码解码的策略： 编码：构造Ψ，做正变换y Ψx ，保留y 中最重要的K 个分量，和其对应的位置。 H ˆ H ˆ 解码：把K 个分量放回到对应的位置，其它位置填 0，构造Ψ ，反变换x Ψ y 。 而解码能否近乎得到原始信号呢？显然，我们希望 ˆ ˆ || x −x || || y −y || ≤δ ，δ 是一个小