信息论与编码 第3讲.pdfVIP

信息论与编码 信息论与编码 （第三讲） 目录 第一篇信息论 第1章概论 第2章信源及其信息量 第3章信道及其容量 第4章信息率失真函数 第二篇编码理论 第5章信源编码 第6章信道编码的基本概念 第7章线性分组码 第8章循环码 第9章卷积码 2010-3-11 The Department of Communication Engineering, NCUT 2 第二章 信源及其信息量 第二章 信源及其信息量 本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。 2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结 2010-3-11 The Department of Communication Engineering, NCUT 3 2.1 单符号离散信源 2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 信息量和信息熵 2.1.3 熵的基本性质和定理 2.1.4 平均互信息量 2.1.5 各种熵之间的关系 2010-3-11 The Department of Communication Engineering, NCUT 4 2.1.4 平均互信息量 2.1.4 平均互信息量 2.1 将信道的发送和接收端分别看成是两个“信源”，则两者 单 符 之间的统计依赖关系（信道输入和输出之间）描述了信道 号 离 的特性。 散 信 (1) 互信息量和条件互信息量 源 (2) 平均互信息量的定义 (3) 平均互信息量的物理含义 (4) 平均互信息量的性质 2010-3-11 The Department of Communication Engineering, NCUT 5 2.1.4 平均互信息量 2.1.4 平均互信息量 2.1 (1) 互信息量和条件互信息量 单 符 ①互信息量 号 离 ②互信息的性质 散 信 ③条件互信息量 源 2010-3-11 The Department of Communication Engineering, NCUT 6 2.1.4 平均互信息量 2.1.4 平均互信息量 2.1 (1) 互信息量和条件互信息量 单 符 ①互信息量 信源X 有扰信道 信宿Y 号 离 互信息量定义： 散 干扰源 信 最简单的通信系统模型： 图2.1.3 简单通信系统模型 源 X—信源发出的离散消息集合 Y—信宿收到的离散消息集合 信源通过有干扰的信道发出消息传递给信宿； 信宿事先不知道某一时刻发出的是哪一个消息，所以每 个消息是随机事件的一个结果。 2010-3-11 The Department of Communication Engineering, NCUT 7 2.1.4 平均互信息量 2.1.4 平均互信息量 2.1 (1) 互信息量和条件