第七章：限失真编码1.pptVIP

第七章限失真信源编码 简介：和无失真编码比较，（失真和熵率值比较）熵压缩编码在的允许失真条件下，编码后的熵率压缩到最小（无译码器）（解释两种编码的必要性） 信息速率失真函数R(D): 是熵压缩编码的基础，把信息和失真两个度量可联系在一起，为信号处理中同时考虑两个因素提供可解。 引入限失真的必要性 1）????? 失真在传输中是不可避免的; 2）????? 接收者（信宿）无论是人还是机器设备，都有一定的分辨能力与灵敏度，超过分辨能力与灵敏度的信息传送过程是毫无意义的; 3）????? 即使信宿能分辨、能判别，但对通信质量的影响不大，也可以称它为允许范围内的失真； 4）????? 我们的目的就是研究不同的类型的客观信源与信宿，在给定的Qos要求下的最大允许（容忍）失真D，及其相应的信源最小信息率R(D). 5）????? 对限失真信源，应该传送的最小信息率是R(D)，而不是无失真情况下的信源熵H(U). 显然 H(U)≥R(D). 当且仅当 D=0时，等号成立； 6）????? 为了定量度量D，必须建立信源的客观失真度量，并与D建立定量关系； 7）????? R(D)函数是限失真信源信息处理的理论基础； 本章节达到的目的 理解限失真信源编码在通信系统中的意义 了解失真测度的含义和基本方法 理解R(D)函数的概念、物理意义、性质 了解特殊情况下R(D)函数的计算方法 了解R(D)函数在信道编码定理中的作用 理解香农第三定理的物理意义及其实用意义 了解香农三大定理的相互关系与比较情况 本章研究内容 概述 失真的度量 信息率失真函数 限失真信源编码定理 香农三大定理的关系和比较 §7.1:概述－1 问题引出 无噪信道编码定理回顾 有噪信道编码定理回顾 存在的问题： 实际需求特点 引出的研究内容 本章节研究方法与顺序 §7.1:概述－2 无噪信道编码定理回顾： 总可以找到一种输入分布（信源编码方法），使在无噪无损信道上，能够以信道容量C无误地传输信息。 §7.1:概述－3 有噪信道编码定理回顾： 只要RC，总可以找到一种信道编码方法，使在信道上能够以尽可能小的PE传输信息。 §7.1:概述－4 存在问题 对于连续和模拟信源H(S)=∞ 信道传输率R=H(S)/n（比特/码符号） R= ∞ 平均码长l=Hr(S)=H(S)/logr, l= ∞, 实际上，因为B有限，C一定有限，RC,及l=∞均不可能 §7.1:概述－5 实际需求特点： 信宿对真实度的要求： 实际语音信号：20Hz~8KHz 人耳能够分辨：300Hz~3400Hz 图象色差：可达足够多 视觉分辨：256级（黑白）已足够 可以允许一定的失真度 完全保真没必要 §7.1:概述－6 引出的研究内容 限失真的信源编码问题 允许一定的失真度下，能将信源信息压缩到什么程度？（最少需要多少比特才能在收端描述信源？） 一定的信息传输率R下，允许的最大失真是多少？ 相关问题 失真如何度量？ 率失真函数如何计算？ §7.1:概述－7 研究方法： 抽象信道 虚拟试验信道 §7.1:概述－8 方法： 抽象：将与讨论重点关系小的部分抽象 因为涉及信源编码，对信道进行抽象 信道编码→信道→信道译码 信道* 信道*可以略去 根据信道编码定理 信道*是一个没有干扰的广义信道，信宿收到信息的失真只来自于信源编码 §7.1:概述－9 方法： 虚拟：将讨论重点虚拟细化 将限失真信源的编译码过程虚拟 信源编码→信道* →信源译码 试验信道 可以用信道传递概率来描述限失真信源编译码前后的关系 §7.1:概述－10 本章节讨论顺序 从最简单的离散无记忆信源入手 讨论失真的度量 讨论率失真函数的定义和性质 讨论在最简单的二进制对称离散信源和高斯连续信源条件下率失真函数R(D)的计算方法 讨论限失真信源编码定理 信息率失真理论的探讨及应用举例 香农三大定理的关系和比较 §7.2:失真的度量－1 失真度定义 平均失真度 保真度准则 试验信道 §7.2:失真的度量－2 失真度定义 在U,V联合空间上定义： d（ui，vj），ui∈U，vj∈V 为U,V的失真测度。 d（ui，vj）有距离的概念 性质1：ui=vj时，d=0 性质2：min d=0 性质3：0d ∞ §7.2:失真的度量－3 失真度定义 0, ui=vj 离散信源：用失真矩阵描述。dij= 0, ui≠ vj