信息论2015-2解析.pptVIP

2.4.1 N维扩展信源的熵 【例2-17】已知一个单符号离散信源空间如下，求其二次无记忆扩展信源的熵。 n=3，N=2 解：信源X的二次扩展信源的符号为一个二维随机向量，可以表示为 二次扩展信源的熵为： 计算可得 并可计算原来的单符号离散无记忆信源的熵为H(X)=1.5 bits/符号。 可见：H(X2)=2 H(X) * 2.4.1 N维扩展信源的熵 （2）离散有记忆N维扩展信源的熵 首先还是假设N维扩展信源是由一个单符号离散信源扩展而成，单符号信源X的符号数是n，则由X扩展的N维信源的符号状态数为nN，N维扩展信源的信源空间仍然可以表示为 由概率关系 这时N维扩展信源的熵为 * 2.4.1 N维扩展信源的熵 可以证明：有记忆N维扩展信源熵小于等于无记忆N维扩展信源的熵 在信息论中，把这个表达式称为熵的链式规则，它可以写成如下形式 链式规则给出一个N维扩展信源的符号熵，也就是一个序列符号的熵，那么实际一个信源符号的熵为 * 2.4.1 N维扩展信源的熵 这里用一个二维扩展信源的情况说明一下。设一个单符号离散无记忆信源为 二维扩展信源空间为 设二维扩展信源的符号概率为 二维扩展信源一个符号状态（两个原始符号）所提供的平均信息量为 二维离散平稳有记忆信源每发一个消息符号（双符号）所能提供的平均信息量是一个联合熵。