信息论基础 课件 第7章 限失真信源编码.ppt

R(D)是关于平均失真度D的下凸函数 设 为任意两个平均失真， ，则有： R(D) 是 区间上的连续和严格单调递减函数。 由信息率失真函数的下凸性可知， R(D)在 上连续。又由R(D)函数的非增性， R(D)是区间 上的严格单调递减函数。 信息率失真函数的一般形状 7.3 限失真信源编码定理 定理 (保真度准则下的信源编码定理，香农第三定理) 设R(D)为一离散无记忆信源的信息率失真函数，并且有有限的失真测度D。对于任意D ，以及任意长的码长n，一定存在一种信源编码C，其码字个数为 使编码后码的平均失真度 。 定理的含义是：只要码长n足够长，总可以找到一种信源编码，使编码后的信息传输率略大于(直至无限逼近)率失真函数R(D)，而码的平均失真度不大于给定的允许失真度，即： 由于R(D)为给定D前提下信源编码可能达到的下限， 所以香农第三定理即说明了： 达到此下限的最佳信源编码是存在的。 实际的信源编码(无失真编码或先限失真编码后无失真编码)的最终目标是尽量接近最佳编码，使编码信息传输率接近最大值log r，而同时又保证译码后能无失真地恢复信源的全部信息量H(S)或限失真条件下的必要信息量R(D)。 编码后信息传输率的提高使每个编码符号能携带尽可能多的信息量， -----使得传输同样多的信源总信息量所需的码符号数大大减少 ------使所需的单位时间传输信道单位时间信道容量Ct大大减少，或在Ct不变的前提下使传输时间大大缩短，从而提高了通信的效率。 香农第三定理仍然只是个存在性定理，至于最佳编码方法如何寻找，定理中并没有给出，因此有关理论的实际应用有待于进一步研究。 如何计算符合实际信源的信息率失真函数R(D)? 如何寻找最佳编码方法才能达到信息压缩的极限值R(D)? 这是该定理在实际应用中存在的两大问题，它们的彻底解决还有赖于继续的努力。 尽管如此，香农第三定理毕竟对最佳限失真信源编码方法的存在给出了肯定的回答，它为今后人们在该领域的不断深入探索提供了坚定的信心。 逆定理 不存在平均失真测度D， 且 的任何信源编码，即对任意长的码长n的信源C，若码字个数为 ，一定有 。 该定理告诉我们：如果编码后平均每个信源符号的信息传输率R’ 小于信息率失真函数R(D)，就不能在保真度准则下再现信源的消息。 联合有失真信源信道编码定理 （信息－传输定理）离散无记忆信源的S的信息率失真函数为R(D)，离散无记忆信道的信道容量C，若满足 则信源输出的信源序列能在此信道输出端重现，其失真小于等于D。 信息论“三大定理”总结 香农信息论的三个基本概念—信源熵、信道 容量、信息率失真函数，都是临界值，是从理论上衡量通信能否满足要求的重要界限。 香农的三个基本编码定理—无失真信源编码定理、有噪信道编码定理、限失真信源编码定理，这是三个理想编码的存在性定理。分别又称为香农第一、第二、第三定理。 虽然三个定理都指出理想编码是存在的，但如何寻找编码以及能否做到“理想编码”，则完全是另外一回事。正是后面两章信源编码或信道编码所要讨论的问题。 限失真信源编码定理的实用意义 例： 要对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，信源的信息输出率为R=H=1。若允许失真存在，并定义失真函数为汉明失真，即 可以设想这样一种信源编码： * 第七章 限失真信源编码 主要内容 信源的失真测度 信息率失真函数 香农第三定理 限失真信源编码方法 无失真信源编码和有噪信道编码告诉我们： 只要信道的信息传输速率小于信道容量，总能找到一种编码方法,使得在该信道上的信息传输的差错概率任意小； 反之，若信道的信息传输速率大于信道容量，则不可能使信息传输差错概率任意小。 但是，无失真的编码并非总是必要的。 香农首先定义了信息率失真函数R(D)，并论述了关于这个函数的基本定理。 定理指出：在允许一定失真度D的情况下，信源输出的信息传输率可压缩到R(D)值，这就从理论上给出了信息传输率与允许失真之间的关系，奠定了信息率失真理论的基础。 信息率失真理论是进行量化、数模转换、频带压缩和数据压缩的理论基础。 7.1 失真测度 1 失真度 从直观感觉可知，若允许失真越大，信息传输率可 越小