信息论及编码 第4讲.pdfVIP

信息论与编码 （第四讲） 目录 第一篇 信息论 第1章 概论（2 ） 第2章 信源及其信息量（12） 第3章 信道及其容量（4 ） 第4章 信息率失真函数（4 ） 第二篇编码理论 第5章 信源编码（4 ） 第6章 信道编码的基本概念（2 ） 第7章 线性分组码（6 ） 第8章 循环码（4 ） 第9章 卷积码（4 ） 2010-3-21 The Department of Communication Engineering, NCUT 第2页 第二章 信息熵 本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。 2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结 2010-3-21 The Department of Communication Engineering, NCUT 第3页 2.2 扩展信源 2.2.1 扩展信源 2.2.2 离散平稳无记忆信源 2.2.3 离散平稳有记忆信源 2.2.4 马尔可夫信源 2.2.5 信源冗余度及信息变差 2010-3-21 The Department of Communication Engineering, NCUT 第4页 2.2.1 扩展信源 2.2 (1) 扩展信源 扩 展 (2) 随机矢量／随机变量序列 信 源 (3) 多符号离散平稳信源 2010-3-21 The Department of Communication Engineering, NCUT 第5页 2.2.1 扩展信源 2.2 (1) 扩展信源 扩 展 实际的信源输出的消息是时间或空间上离散的一系列随机 信 源 变量。这类信源每次输出的不是一个单个的符号，而是一个符 号序列。在信源输出的序列中，每一位出现哪个符号都是随机 的，而且一般前后符号的出现是有统计依赖关系的。这种信源 称为扩展信源／多符号离散信源。 举例：电报系统，发出的是一串有、无脉冲的信号系列。 举例：电报系统，发出的是一串有、无脉冲的信号系列。 2010-3-21 The Department of Communication Engineering, NCUT 第6页 2.2.1 扩展信源 2.2 (2) 随机矢量／随机变量序列 扩 展 多符号离散信源可用随机矢量／随机变量序列描述，即： 信 源 X =X , X , X , … 1 2 3 信源在不同时刻的随机变量X 和X 的概率分布P(X ) 和 i i+r i P(X ) 一般来说是不相同的，即随机变量的统计特性随着时 i+r 随机变量的统计特性随着时 间的推移而有所变化。 间的推移而有所变化 2010-3-21 The Department of Com