信息论及编码 第10讲.pdfVIP

信息论与编码 （第十讲） 目录 第一篇 信息论 第1章 概论（2 ） 第2章 信源及其信息量（12） 第3章 信道及其容量（4 ） 第4章 信息率失真函数（4 ） 第二篇编码理论 第5章 信源编码（4 ） 第6章 信道编码的基本概念（2 ） 第7章 线性分组码（6 ） 第8章 循环码（4 ） 第9章 卷积码（4 ） 2010-5-4 Department of Communication Engineering, NCUT 第2页 第四章 信息率失真函数 4.1 基本概念 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4 信息率失真函数与信息价值 4.5 信道容量与信息率失真函数的比较 4.6 保真度准则下的信源编码定理 4.7 信息论“三大定理”总结 2010-5-4 Department of Communication Engineering, NCUT 第3页 4.1 基本概念 4.1.1 引言 4.1.2 失真度与平均失真度 4.1.3 信息率失真函数的定义 4.1.4 信息率失真函数的性质 2010-5-4 Department of Communication Engineering, NCUT 第4页 4.1.1 引 言 4.1 (1) “消息完全无失真传送”的可实现性 基 本 (2) 实际中允许一定程度的失真 概 念 (3) 信息率失真理论 2010-5-4 Department of Communication Engineering, NCUT 第5页 4.1.1 引 言 4.1 (1) “消息完全无失真传送”的可实现性 基 本 信道编码定理：无论何种信道，只要信息率R 小于信道容量C，总能找 概 到一种编码，使在信道上能以任意小的错误概率和任意接近于C 的传输率 念 来传送信息。反之，若R C，则传输总要失真。 完全无失真传送不可实现 实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率 R 为无穷大； 实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所 需的信息率大大超过信道容量RC。 返回目录 2010-5-4 Department of Communication Engineering, NCUT 第6页 4.1.1 引 言 4.1 (2) 实际中允许一定程度的失真 基 本 技术发展的需要 概 念 信息时代，信息爆炸，要求解决对海量数据有效的压缩，减少数据的 存储容量(如各种数据库、电子出版物、多媒体娱乐) 、传输时间(如数据 通信和遥测) 、或占有带宽(如多媒体通信、数字音频广播、高清晰度电 视) ，想方设法压缩给定消息集合占用的空间域、时间域和频率域资源. 实际生活中的需要 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求 近似地再现原始消息，即允许一定的失真存在。 2010-5-4 Department of Communication Engineering, NCUT 第7页