2-4 第2章2.2.1 序列信息的熵.pptVIP

第2章 信源熵 2.2 多符号离散平稳信源 2.2.1 序列信息的熵 2.2.2 离散平稳信源的数学模型 2.2.3 离散平稳信源的信息熵和极限熵 2.2.4 马尔可夫信源 2.2.5 信源冗余度和信息变差 最简单的离散信源 N次扩展信源 1. 离散无记忆二进制信源的二次扩展信源 如图，二次扩展信源的输出消息是符号序列，分组发出，每两个二进制符号构成一组。其数学模型为 二进制信源的N次扩展信源 2. 离散无记忆二进制信源的三次扩展信源 三次扩展信源X3＝(X1X2X3)共输出nN个消息符号，其中n=2，N＝3，即8个长为3的二进制系列符号，它等效为一个具有8个消息符号的新信源X。 离散无记忆信源的N次扩展信源 定义 设X是一个离散无记忆信源，其概率空间 其中n为信源符号个数，pi＝P(X=xi) i=1,2,…n。则X的N次扩展信源XN是具有nN个消息符号的离散无记忆信源，其概率空间为 N次扩展信源的熵 N次扩展信源的熵(证明) N次扩展信源的熵 N次扩展信源的熵－例题 例 设有一离散无记忆信源X，其概率空间为 N次扩展信源的熵－例题(续) 小结 首先给出了离散信源和连续信源的数学模型，然后根据随机变量的取值以及随机变量统计特性分析了信源的分类。 讨论了离散无记忆信源的信源熵，说明它就是离散集合X的信息熵。在此基础上进一步介绍了离散无记忆信源的扩展信源。 从最简单的离散无记忆信源开始，介绍了N次扩展信源和N次扩展信源的熵。 * HUST -- Information and Coding Theory * * * * * HUST -- Information and Coding Theory -- Wang Fu rong * * * * 扩展信源 X＝X1X2 二次扩展信源 1/16 1/16 1/8 1/16 1/16 1/8 1/8 1/8 1/4 概率p(ai) x3 x3 x3 x2 x3 x1 x2 x3 x2 x2 x2 x1 x1 x3 x1 x2 x1 x1 符号系列 a9 a8 a7 a6 a5 a4 a3 a2 a1 信源符号 * HUST -- Information and Coding Theory