信息论信源与信息熵解剖.ppt

* 信源与信息熵 第二章 * 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信息 2.5 冗余度 内容 * 2.3 离散序列信源的熵 * 信源输出的随机序列为 序列熵:信源中平均每个消息的不确定度 * 符号熵：平均每个符号的熵 若当信源退化为无记忆时: 若进一步又满足平稳性时 * a0 a1 a2 a0 9/11 2/11 0 a1 1/8 3/4 1/8 a2 0 2/9 7/9 例已知离散有记忆信源中各符号的概率空间为: 设发出的符号只与前一个符号有关,这两个符号的概率关联性用条件概率p(aj|ai)表示,如表 p(aj|ai) 分析离散信源的熵和符号熵? 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表 a0 a1 a2 a0 1/4 1/18 0 a1 1/18 1/3 1/18 a2 0 1/18 7/36 联合熵H(X1,X2)表示平均每二个信源符号所携带的信息量。 符号熵：平均每一个信源符号携带的信息量： * 单符号信源X的信息熵为 H(X2| X1)＜H(X) 信源的条件熵比无依赖时的熵H(X)减少了0.671比特,这正是因为符号之间有依赖性所造成的结果。 符号之间存在关联性 * 离散平稳信源 对