信息论及编码原理_第4章_信息率失真函数.pptVIP

第四章 信息率失真函数 4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值 4.5 信道容量与信息率失真函数的比较 4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结 4.1 基本概念 4.1.1 引言 4.1.2 失真度与平均失真度 4.1.3 信息率失真函数的定义 4.1.4 信息率失真函数的性质 4.1.1 引 言 (1) “消息完全无失真传送”的可实现性 (2) 实际中允许一定程度的失真 (3) 信息率失真理论 4.1.1 引 言 (1) “消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R 小于信道容量 C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于 C 的传输率来传送信息。反之，若 R C，则传输总要失真。 完全无失真传送不可实现 实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率 R 为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量 RC。 4.1.1 引 言 (2) 实际中允许一定程度的失真 技术发展的需要 随着科技的发展，数字系统应用得越来越广泛，需要传送、存储和处理大量的数据。为了提高传输和处理效率，需要对数据压缩，这样会带来一定的信息损失。 信息时代，信息爆炸，要求解决对海量数据有效的压缩，减少数据的存储容量(如各种数据库、电子出版物、多媒体娱乐)、传输时间(如数据通信和遥测)、或占有带宽(如多媒体通信、数字音频广播、高清晰度电视)，想方设法压缩给定消息 集合占用的空间域、时间域和频率域资源. 如海洋地球物理勘探遥测数据，用 60 路传感器，每路信号 1kHz，16 位 A/D 量化，每航测 1km 就需记录 1 盘 0.5 英寸的磁带，一条测量船每年就可勘测 15000km。 4.1.1 引 言 (2) 实际中允许一定程度的失真 实际生活中的需要 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映 24 幅静态画面。 有些失真没有必要完全消除。 既然允许一定的失真存在，对信息率的要求便可降低。 4.1.1 引 言 (3) 信息率失真理论 信息率失真理论研究的内容: 信息率与允许失真之间的关系. 信息率失真函数 香农定义了信息率失真函数 R(D)。 “保真度准则下的信源编码定理”指出：在允许一定失真度 D 的情况下，信源输出的信息率可压缩到 R(D)。 信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。 4.1.1 引 言 (3) 信息率失真理论 信息率失真函数极小值问题 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数； 在讨论信道容量时：规定了P(Y/X) ， I(X;Y) 变成了P(X) 的函数。在离散情况下，因为 I(X;Y) 对 p(xi) 是上凸函数，所以变更 p(xi) 所求极值一定是 I(X;Y)的极大值；在连续情况下，变更信源 P(X) 求出的也是极大值，但求极值时还要一些其它的限制条件。 4.1.1 引 言 (3) 信息率失真理论 信息率失真函数极小值问题 在讨论信息率时：可规定 p(xi)，变更 p(yj /xi) 来求平均互信息的极值，称为信道容量对偶问题。由于I(X;Y) 是 p(yj /xi) 的下凸函数，所求的极值一定是极小值。但若 X 和 Y 相互统计独立（p(yj /xi)= p(yj )），这个极小值就是 0，因为 I(X;Y) 是非负的，0 必为极小值，这样求极小值就没意义了。 引入一个失真函数，计算在失真度一定的情况下信息率的极小值就变的有意义了。 4.1.2 失真度与平均失真度 (1) 信息率与失真的关系 (2) 失真度 (3) 常用的失真函数 (4) 平均失真度 (5) N 次扩展信道的平均失真度 4.1.2 失真度与平均失真度 (1) 信息率与失真的关系 信道中固有的噪声和不可避免的干扰，使信源的消息通过信道传输后造成误差和失真。 误差或失真越大，接收者收到消息后对信源存在的不确定性就越大，获得的信息量就越小，信道传输消息的信息率也越小。 4.1.2 失真度与平均失真度 (2) 失真度 失真度 设离散无记忆信源为： 4.1.2 失真度与平均失真度 (2) 失真度 失真度 对每一对 (xi,yj)，指定一个非负函