第七章：信息率失真函数与限失真信源编码-2014-dy.pdfVIP

第七章：信息率失真函数与限失 真信源编码定理 杨杰 BIT-杨杰 本章研究内容 • 概述 • 失真的度量 • 信息率失真函数 • 限失真信源编码定理 • 限失真信源编码定理应用 • 压缩编码技术介绍 • 实用型信源编码 • 香农三大定理的关系和比较 BIT-杨杰 §7.1:概述－1 • 问题引出 • 本章节研究方法与顺序 BIT-杨杰 §7.1:概述－2 • 无噪信道编码定理回顾： – 总可以找到一种输入分布（信源编码方法），使在无 噪无损信道上，能够以信道容量C无误地传输信息。 • 有噪信道编码定理回顾： – 只要RC，总可以找到一种信道编码方法，使在有噪 信道上能够以尽可能小的P 传输信息。 E BIT-杨杰 §7.1:概述－4 • 存在问题(1) – 对于连续和模拟信源H(S)=∞ • 信道传输率R=H(S)/n （比特/码符号） R= ∞ •平均码长l=H (S)=H(S)/logr, l= ∞, r • 结论： RC,or l=∞不可能。因为B有限，C一定有限， 完全保真没必要。 – 实际信宿对真实度的要求： » 实际语音信号： 300Hz~3400Hz 人耳能够分辨： 20Hz~8KHz » 图象色差：可达足够多 视觉分辨：256级（黑白）已足够 BIT-杨杰 §7.1:概述－5 • 存在问题(2) – 即使是离散信源，若RC，会如何？ • 第二定理逆定理：一定有误。 • 问题：错误是多大？ • 结论：C=R(D)，D就是失真，合适度量时即为数字 信道的误码率。 BIT-杨杰 §7.1:概述－6 • 引出的研究内容 – 限失真的信源编码问题 • 允许一定的失真度下，能将信源信息压缩到什么程度？（最少需 要多少比特才能在收端描述信源？） • 满足失真要求的传输所需要的最小传输速率是多少？(一定的信息 传输率R下，可能达到的最小的平均失真是多少？) – 相关问题 • 失真如何度量？ • 允许一定的失真度下，最低的信息速率是多少？ • 允许一定的失真度下，最低的信息速率如何计算？ BIT-杨杰 §7.1:概述－10 • 本章节讨论顺序 –从最简单的离散无记忆信源入手 –讨论失真的度量 –讨论率失真函数R(D)的定义和性质 –讨论在最简单的二进制对称离散信源和高斯连续信源条件 下率失真函数R(D)的计算方法 –讨论限失真信源编码定理 –信息率失真理论的探