2.1.5各种熵之间的关系.pptVIP

* * 2.1.5 各种熵之间的关系 X Y X Y X Y X Y X Y 2.2.1 无记忆扩展信源的熵 2.2.2 离散平稳信源的熵 2.2.3 马尔可夫信源 2.2.4 信源的冗余度 2.2 扩展信源 无记忆的离散信源序列 离散有记忆序列信源 离散平稳信源 马尔可夫信源 无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息，而且所发出的各个符号是相互独立的，各个符号的出现概率是它自身先验概率。序列中符号组的长度即为扩展次数。 离散平稳信源随机矢量中的各随机变量的统计特性都不随时间推移而变化。 1、离散无记忆二进制信源X的二次扩展信源 每两个二进制数字构成一组，则新的等效信源X的输出符号为00，01，10，11。 若单符号离散信源的数学模型为 二次扩展信源的数学模型为 其中，X2表示二次扩展信源。这里，a1=00,a2=01,a3=10,a4=11。且有 2.2.1 无记忆扩展信源的熵 2、 离散无记忆信源X的N次扩展信源 （1）数学模型 设单符号离散信源的数学模型为 满足 则其N次扩展信源用XN来表示，其数学模型为 满足 每个符号ai对应于某个有N个xi组成的序列。 在N次扩展信源XN中，符号序列构成的矢量其各分量之间是彼此统计独立的，即 （2）熵 N次扩展信源的熵按信息熵的定义为 其单位为比特/符号