第七章限失真编码1.ppt

第七章限失真信源编码 ? 简介：和无失真编码比较，（失真和熵率 值比较）熵压缩编码在的允许失真条件下， 编 码 后 的熵 率 压 缩 到 最 小 （无译 码器 ） （解释两种编码的必要性） 信息速率失真函数 R(D): 是熵压缩编码的基础，把信息和失真两个度 量可联系在一起，为信号处理中同时考虑 两个因素提供可解。 引入限失真的必要性 ? 1 ） 失真在传输中是不可避免的 ; ? 2 ） 接收者（信宿）无论是人还是机器设备， 都有一定的分辨能力与灵敏度，超过分辨能力 与灵敏度的信息传送过程是毫无意义的 ; ? 3 ） 即使信宿能分辨、能判别，但对通信质 量的影响不大，也可以称它为允许范围内的失 真； ? 4 ） 我们的目的就是研究不同的类型的客观 信源与信宿，在给定的 Qos 要求下的最大允许 （容忍）失真 D ，及其相应的信源最小信息率 R(D) . ? 5 ） 对限失真信源，应该传送的最小信 息率是 R(D) ，而不是无失真情况下的信源 熵 H(U) . 显然 H(U) ≥ R(D) . 当且仅当 D=0 时，等号成立； ? 6 ） 为了定量度量 D ，必须建立信源的客 观失真度量，并与 D 建立定量关系； ? 7 ） R(D) 函数是限失真信源信息处理的 理论基础； 本章节达到的目的 ? 理解限失真信源编码在通信系统中的意义 ? 了解失真测度的含义和基本方法 ? 理解 R(D) 函数的概念、物理意义、性质 ? 了解特殊情况下 R(D) 函数的计算方法 ? 了解 R(D) 函数在信道编码定理中的作用 ? 理解香农第三定理的物理意义及其实用意义 ? 了解香农三大定理的相互关系与比较情况 本章研究内容 ? 概述 ? 失真的度量 ? 信息率失真函数 ? 限失真信源编码定理 ? 香农三大定理的关系和比较 § 7.1: 概述－ 1 ? 问题引出 ? 无噪信道编码定理回顾 ? 有噪信道编码定理回顾 ? 存在的问题： ? 实际需求特点 ? 引出的研究内容 ? 本章节研究方法与顺序 § 7.1: 概述－ 2 ? 无噪信道编码定理回顾： ? 总可以找到一种输入分布（信源编码方法），使在 无噪无损信道 上，能够 以信道容量 C 无误 地传输信 息。 信 源 编 码 无噪无损信道 R=C ; P E =0 , 最佳分布 消息 压缩冗余度 最好地 利用 C § 7.1: 概述－ 3 ? 有噪信道编码定理回顾： ? 只要 R<C ，总可以找到一种信道编码方法，使在信 道上能够 以尽可能小的 P E 传输信息。 信 源 编 码 信道 R< C ; P E = ε , 消息 信 道 编 码 增加冗余度，最好地 匹配 信 道特性 § 7.1: 概述－ 4 ? 存在问题 ? 对于连续和模拟信源 H(S)= ∞ ? 信道传输率 R=H(S)/n （比特 / 码符号） R= ∞ ? 平均码长 l=H r (S)=H(S)/logr, l= ∞, ? 实际上，因为 B 有限， C 一定有限， R<C, 及l=∞均 不可能 § 7.1: 概述－ 5 ? 实际需求特点： ? 信宿对真实度的要求： ? 实际语音信号： 20Hz~8KHz 人耳能够分辨： 300Hz~3400Hz ? 图象色差：可达足够多 视觉分辨： 256 级（黑白）已足够 ? 可以允许一定的失真度 ? 完全保真没必要 § 7.1: 概述－ 6 ? 引出的研究内容 ? 限失真的信源编码问题 ? 允许一定的失真度下，能将信源信息压缩到什么 程度？（最少需要多少比特才能在收端描述信 源？） ? 一定的信息传输率 R 下，允许的最大失真是多少？ ? 相关问题 ? 失真如何度量？ ? 率失真函数如何计算？ § 7.1: 概述－ 7 ? 研究方法： ? 抽象信道 ? 虚拟试验信道 § 7.1: 概述－ 8 ? 方法： ? 抽象：将与讨论重点关系小的部分抽象 ? 因为涉及信源编码，对信道进行抽象 ? 信道编码→信道→信道译码 信道 * ? 信道 * 可以略去 ? 根据信道编码定理