压缩感知的信息论解译.docxVIP

第３９卷第１１期２０１４年１１月武汉大学学报·信息科学版ＧｅｏｍａｔｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅｏｆＷｕｈａｎＵｎｉｖｅｒｓｉｔｙＶｏｌ．３９Ｎｏ．１１Ｎｏｖ．２０１４ＤＯＩ：１０．１３２０３／ｊ．ｗｈｕｇｉ章编号：１６７１－８８６０（２０１４）１１－１２６１－０８压缩感知的信息论解译张景雄１阳柯１郭建中２１ 武汉大学遥感信息工程学院，湖北武汉，４３００７９２ 武汉纺织大学电子与电气工程学院，湖北武汉，４３００７４摘要：压缩感知（ｃｏｍｐｒｅｓｓｅｄｓｅｎｓｉｎｇｏｒｃｏｍｐｒｅｓｓｉｖｅｓａｍｐｌｉｎｇ，ＣＳ）是数据采集与信号重构的新体制，其与信息论的关系是，应该且可以从信息论的角度对ＣＳ进行分析，而 ＣＳ丰富和发展着信息论的内涵和外延。换言之，信息论的一些基本概念和原理（如信源、信道、信源编码、信道编码、率失真、Ｆａｎｏ不等式、数据处理定理等）为ＣＳ研究提供了理论基础，尤 其是在性能限（如采样数）的界定等方面；另一方面，ＣＳ提供了采集、存贮、传输、恢复稀疏信号的高效方法，以其独特的理念和算法模式，提供了直接对信息的采样和处理机制，延拓了经典信息论的范畴。本文将梳理和阐释ＣＳ和信息论之间的关系，力图从信息论角度揭示ＣＳ中的一些基本问题，尤 其是ＣＳ采样问题，并 寻求用信息论指导ＣＳ的学习与研究。关键词：压 缩感知；信 息论；稀 疏；采 样；熵中图法分类号：Ｐ２０８文献标志码：Ａ信息论［１］是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、数据压缩等问题的应用数学学科，涵盖了信息度量、编码理论、算法复杂性理论和算法信息论等方向。信息传输和信息压缩是信息论研究中的两大领域，这 两个方面又由信道编码定理、信源－信道隔离定理相互联系［２］。信息论已广泛应用于许多学科领域，包括测绘、遥感（光学与微波）和地理信息，提 供了地理空间信息的理论支撑［３－４］。数据采集也称信号采样，是信息论的重要研究内容，它是模拟信号至数码数据转换的必由之路。Ｓｈａｎｎｏｎ－Ｎｙｑｕｉｓｔ采样定理要求，对一带宽为Ｂ 的连续带限信号，需以至少２Ｂ 的采样率（即１／（２Ｂ）的采样间距）来采样获取离散化的信号，以使原连续信号能从等间隔离散化的信号通过ｓｉｎｃ函数加权完全恢复。由于分辨率的持续提高和数据量的剧增，为了降低存储、处理和传输的成本，需要对信源信号进行压缩处理。传统压缩编码往往通过变换来实现压缩，但这种采样后再压缩信号的方法效率很低。信息社会、大数据时代的数据和信息需求与日俱增，加剧了数据采集、传输和存储的压力，使 得数据采集的效率与精度同等重要，传统采样－压缩的模式弊端凸显。Ｎｙｑｕｉｓｔ采样率是原连续信号能完全恢复的充分条件，但并非必要条件，可以运用信号的其他特性，以提高采样效率。压缩感知（ＣＳ）理论指出，若信号是稀疏的（在某个变换域）或可压缩的，可通过不相关的观测矩阵将其（高维信号）投影到低维空间，进而利用该投影（低 维观测）求解优化问题，以高概率地重构原信号［５－８］。压缩感知和变换编码都实现了对信源的压缩，不同之处在于变换编码先用Ｎｙｑｕｉｓｔ速率进行采样，再变换去相关性，而压缩感知将去相关性和采样融为一体；Ｎｙｑｕｉｓｔ采样后信号的重构是通过简单的线性加权平均实现的，而压缩感知的重构基于优化算法（非线性的）。ＣＳ是信号采集的新理论，前提是信号的稀疏性。ＣＳ信号采集过程从Ａｎａｌｏｇ－Ｄａｔａ模式变成了Ａｎａｌｏｇ－Ｉｎｆｏｒｍａｔｉｏｎ模式，于是ＣＳ可以理解为直接感知压缩了的信息。若想只采集少部分数据并从中解压缩出大量信息，需保证这些以ｓｕｂ－Ｎｙｑｕｉｓｔ采样率得到 的少量的数据包含了原信号的全局信息及存在某种算法能从这些数据中还原出原有的信息。在某些场合，上述第一要求是自动满足的，如医学图像成像如核磁共振（ＭＲＩ）技术，仪器所采集到的不是直接的图像像素，而是图收稿日期：２０１３－０６－２４项目来源：国家９７３ 计划资助项目（２０１０ＣＢ７３１９０５）；国家自然科学基金资助项目；湖北省教育厅基金资助项目（Ｄ２０１４１６０２２）。第一作者：张景雄，博士，教授。主要从事遥感与地理信息的基础研究和应用研究。Ｅ－ｍａｉｌ：ｊｘｚｈａｎｇ＠ｗｈｕ．ｅｄｕ．ｃｎ１２６２武汉大学学报·信息科学版２０１４年１１月像经傅立叶变换后的数据，每一数据都在某种程度上包含了全图像的信息，每部分图像信息“弥漫”于每单个 数据里。上述第二点的理论依据是Ｃａｎｄｅｓ等学者的工作：如果 假定信号满足某种特定的稀疏性，可以从少量的测量数据中，高概率的还原出原始的信号来，其中所需要的计算部分是一个复杂的迭代优化过程，如所谓的ι１－最小化算法。ＣＳ的原理简述如下。设信号Ｘ＝（Ｘ１，Ｘ２，…，ＸＮ）Ｔ