信息论与编码--信息率失真函数1.pptx

信息论与编码（第十讲）──────────────信息率失真函数ⅠXXX2017年春E-mail：xxxxxxmailto:songpeng@ncut.edu.cn@xxxx.edu.cnDepartment of Electronics and Information, NCUT Song Peng第页目 录第1讲：绪论第2讲：信源及其信息量1—自信息与熵第3讲：信源及其信息量2—平均互信息第4讲：信源及其信息量3—多符号离散平稳信源第5讲：信源及其信息量4—马尔科夫信源第6讲：信源及其信息量5—连续信源第7讲：信源及其信息量6—信源编码定理第8讲：信道及其容量1第9讲：信道及其容量2第10讲：信息率失真函数1第11讲：信息率失真函数2第12讲：习题课1Electronics Engineering Department, NCUT Song Peng第页目 录第13讲：信源编码1第14讲：信源编码2第15讲：信道编码概论第16讲：线性分组码第17讲：循环码第18讲：卷积码第19讲：习题课2第20讲：上机1第21讲：上机2第22讲：上机3第23讲：上机4第24讲：总复习Electronics Engineering Department, NCUT Song Peng第页第四章 信息率失真函数Electronics Engineering Department, XXXX Xxx Xxxx第页4.1 基本概念4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数 4.4 保真度准则下的信源编码定理 4.5 信息论“三大定理”总结4.1 基本概念4.1.1 引言4.1.2 失真度与平均失真度4.1.3 信息率失真函数的定义4.1.4 信息率失真函数的性质第页4.1.1 引言(1) “消息完全无失真传送”的可实现性(2) 实际中允许一定程度的失真(3) 信息率失真理论4.1基本概念第页4.1.1 引言(1) “消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率 R 小于信道容量 C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于 C 的传输率来传送信息。反之，若 R C，则传输总要失真。 完全无失真传送不可实现 实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率 R 为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量 R C。4.1基本概念第页4.1.1 引言(2) 实际中允许一定程度的失真 技术发展的需要 随着科技的发展，数字系统应用得越来越广泛，需要传送、存储和处理大量的数据。为了提高传输和处理效率，需要对数据压缩，这样会带来一定的信息损失。 信息时代，信息爆炸，要求解决对海量数据有效的压缩，减少数据的存储容量（如各种数据库、电子出版物、多媒体娱乐）、传输时间（如数据通信和遥测）、或占有带宽（如多媒体通信、数字音频广播、高清晰度电视），想方设法压缩给定消息集合占用的空间域、时间域和频率域资源。4.1基本概念第页4.1.1 引言(2) 实际中允许一定程度的失真 技术发展的需要如海洋地球物理勘探遥测数据，用 60 路传感器，每路信号 1kHz，16 位 A/D 量化，每航测 1km 就需记录 1 盘 0.5 英寸的磁带，一条测量船每年就可勘测 15000km。4.1基本概念第页4.1.1 引言(2) 实际中允许一定程度的失真 实际生活中的需要 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映 24 幅静态画面。 有些失真没有必要完全消除。 既然允许一定的失真存在，对信息率的要求便可降低。4.1基本概念第页4.1.1 引言(3) 信息率失真理论 信息率失真理论研究的内容: 信息率 与允许失真之间的关系。 信息率失真函数 香农定义了信息率失真函数 R(D)。 “保真度准则下的信源编码定理”指出：在允许一定失真度 D 的情况下，信源输出的信息率可压缩到 R(D)。 信息率失真理论是量化（模数转换）、数模转换、频带压缩和数据压缩的理论基础。4.1基本概念第页4.1.1 引言(3) 信息率失真理论 信息率失真函数极小值问题 I(X;Y) 是 P(X) 和 P(Y/X) 的二元函数； 在讨论信道容量时：规定了P(Y/X) ，I(X;Y) 变成了P(X) 的函数。在离散情况下，因为 I(X;Y) 对 p(xi) 是上凸函数，所以变更 p(xi) 所求极值一定是 I(X;Y)的极大值；在连续情况下，变更信源 P(X) 求