信息论及编码 第5讲.pdfVIP

信息论与编码 （第五讲） 目录 第一篇 信息论 第1章 概论（2 ） 第2章 信源及其信息量（12） 第3章 信道及其容量（4 ） 第4章 信息率失真函数（4 ） 第二篇编码理论 第5章 信源编码（4 ） 第6章 信道编码的基本概念（2 ） 第7章 线性分组码（6 ） 第8章 循环码（4 ） 第9章 卷积码（4 ） 2010-3-23 Department of Communication Engineering, NCUT 第2页 第二章 信息熵 本章重点：信源的统计特性和数学模型、各类信源的信息测 度—熵及其性质。 2.1 单符号离散信源 2.2 扩展信源 2.3 连续信源 2.4 离散无失真信源编码定理 2.5 小结 2010-3-23 Department of Communication Engineering, NCUT 第3页 2.2 扩展信源 2.2.1 扩展信源 2.2.2 离散平稳无记忆信源 2.2.3 离散平稳有记忆信源 2.2.4 马尔可夫信源 2.2.5 信源冗余度及信息变差 2010-3-23 Department of Communication Engineering, NCUT 第4页 2.2.4 马尔可夫信源 2.2 (1) 马尔可夫信源的定义 扩 展 (2) m 阶马尔可夫信源 信 源 (3) 举例 2010-3-23 Department of Communication Engineering, NCUT 第5页 2.2.4 马尔可夫信源 2.2 (1) 马尔可夫信源的定义 扩 展 ①信源的状态和符号集 信 源 ②马尔可夫链 ③时齐的马尔可夫链 ④马尔可夫信源定义 ⑤举 例 ⑥结论 2010-3-23 Department of Communication Engineering, NCUT 第6页 2.2.4 马尔可夫信源 2.2 (1) 马尔可夫信源的定义 扩 展 ①信源的状态和符号集 信 有一类信源，输出的符号序列中符号之间的依赖关系是有限的，即任何 源 时刻信源符号发生的概率只与前面已经发出的若干个符号有关，而与更 前面发出的符号无关。 设符号集为X ，状态为S 。信源输出的信息符号还与信源所处的状态有 关。 状态S ∈{e ,e ,…,e } 1 2 J 符号X ∈{x ,x , …,x } 1 2 n 每一时刻信源发出一个符号后，所处的状态将发生转移。 2010-3-23 Department of Communication Engineering, NCUT 第7页 2.2.4 马尔可夫信源 2.2 (1) 马尔可夫信源的定义 扩 展 ①信源的状态和符号集 信 源 返回目录 2010-3-23 Department o