信息率失真函数的基本概念.ppt

第4章 信息率失真函数 信息率失真函数 主要内容： 限失真信源编码定理 信息率失真函数 保真度准则下的信源编码定理 教学基本要求： 掌握率失真函数的定义、性质、计算 掌握保真度准则下的信源编码定理 重点和难点： 率失真函数(离散信源，连续信源)的计算 保真度准则下的信源编码定理 本章主要内容 4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源的R(D)的计算 4.4 信道容量和信息率失真函数的比较 4.5 保真度准则下的信源编码定理 理论上“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要 H(X)=信息速率R=信道容量C 总能找到一种编码，使在信道上能以任意小的错误概率和无限接近于C的传输速率来传送信息。反之，若 RC 则传输必失真。 实际上“消息完全无失真传送”的不可实现性 要做到无失真信源编码，要求H(X)RC；实际的信源常常是连续信源，连续信源的绝对熵无穷大,要无失真传送，则信息率R也需无限大，信道容量C也必须为无穷大。 而实际信道带宽是有限的，所以信道容量受限制。因此无法满足无失真传输的条件，因此传输质量必然受影响。 有些失真没有必要完全消除（限失真信源编码） 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 打电话，即使语音信号有一些失真，接电话的人也能听懂。 放电影：理论上需要无穷多幅静态画面，由于人眼的视觉暂留性，实际上只需要每秒放映24幅静态画面，视觉上就会感觉是连续的。 信息率失真理论——信息率失真函数 香农定义了信息率失真函数R(D) 定理指出： 在允许一定失真度D的情况下，信源输出的信息率可以压缩到R(D). 信息率失真函数极小值问题 I(X;Y)是P(X)和P(Y/X)二元函数。 在讨论信道容量时： 固定P(Y/X), I(X;Y)是P(X)的函数。离散情况下， I(X;Y)是 的上凸函数，因此必有I(X;Y)的极大值。 在讨论信息速率时： 固定 ,I(X;Y)是 的下凸函数，因此必有I(X;Y)的极小值。 但是若X和Y统计独立，即这样极小值就变成0，此时极小值就没有意义了。 引入一个失真函数R(D)，计算在失真度D一定的情况下，可求得信息率R的极小值。 信息率与失真的关系 信源压缩后相比原始信源，误差或失真越大，说明压缩掉的信息量就越多。 描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理论。 信息率失真理论的应用： 信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。 4.1 主要内容 失真函数 平均失真 信息率失真函数 信息率失真函数的基本性质 失真函数 由于信息率的大小与失真的程度有关，为了定量地描述信息率和失真的关系，必须先规定失真的测度标准，即失真函数： 它用来表示信源压缩后的消息和原始发送的消息之间的误差。 具体地：每一对 ，指定一个非负函数 称为单个符号的失真度（失真函数），它表示信源发出一个符号 ，压缩后在接收端收到 ，二者之间的误差或失真。 失真函数 失真函数 其它表示收发之间误差的失真函数： 平方误差失真函数或均方失真函数 绝对失真函数 相对失真函数 单符号离散信源的失真函数 设离散无记忆信源为 信源通过矩阵P(Y/X)压缩 压缩后，接收端Y 失真矩阵 要描述离散信源的所有失真情况，必须用矩阵来表示：即失真矩阵，记作D 若一个信源的所有符号压缩前后的失真大小都为α，则可写作对角线上为0，其余为α。则该单符号离散信源进行压缩传输的失真矩阵可以写作。 失真矩阵 若α=1，则失真函数称为汉明失真函数，失真矩阵称为汉明失真矩阵，变为 例：已知单符号离散无记忆信源X={0,1}，Y={0,1，2}，将其进行压缩的失真函数为 d(0,0)= d(1,1)=0；d(0,1)= d(1,0)=1； d(0,2)= d(1,2)=0.5， 求失真矩阵： 解： 以上离散无记忆信源的N次扩展信源的失真函数：若发送和压缩传输后接收的消息分别为： 则N次扩展信源的失真函数可定义为 连续信源的失真函数 记作：d(x,y) 例：某一连续信源进行压缩传输时，采用的失真压缩的函数为均方式真，则其失真函数可写作： d(x,y)=(y-x)2 平均失真 只能表示两个特定的具体符号 之间的失真，而对于信源整体压缩时，引起的失真测度需要求平均失