信息论与编码课件第二章4.pptVIP

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 离散信源的分类 发出单个符号的信源 指信源每次只发出一个符号代表一个消息； 发出符号序列的信源 指信源每次发出一组含二个以上符号的符号序列代表一个消息。 发出符号序列的信源 2.3.1离散无记忆信源的序列熵 随机序列的概率为 离散无记忆信源的序列熵 信源的序列熵（即平均每个序列共同包含的信息） 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时，概率变为： 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 2.3.2离散有记忆信源的序列熵 对于有记忆信源,就不像无记忆信源那样简单,它必须引入条件熵的概念,而且只能在某些特殊情况下才能得到一些有价值的结论。 对于由两个符号组成的联合信源,有下列结论: 若信源输出一个L长序列,则信源的序列熵为 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。恰为本题中的序列熵(因为为二元序列） 我们用1/2H(X1,X2)作为二维平稳信源X的信息熵的近似值。那么平均每一个信源符号携带的信