数据通信第二章..pptVIP

第七节 信源剩余度与自然语言的熵 1、关于离散信源熵的总结： 实际信源可能是非平稳的有记忆随机序列信源；其极限熵是不存在的；解决的方法是假设其为离散平稳随机序列信源，极限熵存在，但求解困难；进一步假设其为m阶Markov信源，用其m阶条件熵近似； 再进一步假设为一阶Markov信源，用其一阶条件熵 来近似；最简化的信源是离散无记忆信源，其熵为H(x); 最后可以假定为等概的离散无记忆信源，其熵H(x)； 它们之间的关系可以表示为： 第七节 信源剩余度与自然语言的熵 2、熵的相对率(传输效率) 3、信源剩余度 第七节 信源剩余度与自然语言的熵 4、自然语言的熵 （1）对于英文字母 （2）对于中文 我们可以压缩剩余度来压缩信源，提高通信的可靠性。 第四节 离散无记忆的扩展信源 其概率关系为 : A1 A2 A3 A4 A5 A6 A7 A8 A9 1/16 1/8 1/16 1/8 1/4 1/8 1/16 1/8 1/16 计算可知 第五节 离散平稳信源 一般来说，信源的前后消息之间有前后依赖关系，可以用随机矢量描述： 信源在某一时刻发出什么样的值取决于两方面 1、这一时刻该变量的概率分布 2、这一时刻以前发出的消息 如一个人讲话 我们现在讨论平稳的随机序列，所谓平稳是指序列的统计性质与时间的推移无关（两个任意时刻信源发出相同符号的概率分布完全相同）。 1、离散平稳信源的数学定义 第五节 离散平稳信源 2、二维平稳信源及其信息熵 最简单的平稳信源——二维平稳信源，信源发出序列中只有前后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。 信源的概率空间: 连续两个信源符号出现的联合概率分布为： 第五节 离散平稳信源 已知符号 出现后，紧跟着 出现的条件概率为： 由二维离散信源的发出符号序列的特点可以把其分 成每两个符号一组，每组代表新信源 中的一个 符号。并假设组与组之间是统计独立的，互不相关的。 得到一个新的离散无记忆信源 ，其联合概率空间为： 第五节 离散平稳信源 根据信息熵的定义，可得： （1）联合熵 可以表征信源输出长度为2的平均不确定性，或所含有的信息量。因此可以用 作为二维平稳信源的信息熵的近似值 第五节 离散平稳信源 (2)条件熵 则： 第五节 离散平稳信源 另外还可以得到： 只有信源统计独立时等号成立。 可以证明： [例2-15] 设某二维离散信源的原始信源的信源空间 X={x1,x2,x3}; P(X)={1/4, 1/4, 1/2}, 一维条件概率为： p(x1/x1)=1/2; p(x2/x1)=1/2; p(x3/x1)=0; p(x1/x2)=1/8; p(x2/x2)=3/4; p(x3/x2)=1/8; p(x1/x3)=0; p(x2/x3)=1/4; p(x3/x3)=3/4; 第五节 离散平稳信源 [例2-15] 原始信源的熵为： H(X)=1.5 bit/符号 条件熵： H(X2/X1)=1.4 bit/符号 可见： H(X2/X1)H(X) 二维信源的熵：H(X1X2)=H(X1)+H(X2/X1)=2.9 bit/消息 每个信源符号提供的平均信息量为： H2(X1X2)=H(X1X2)/2=1.45 bit/符号。 第五节 离散平稳信源 第五节 离散平稳信源 我们现在有两种方法去近似信源的实际熵， 一种是平均符号熵H(X1X2)/2为1.45bit，但这种方法不太准确，因为它把两个消息看成一组，认为两组之间是统计独立的，实际上它们之间是有关联的； 另一种是我们可以用条件熵来近似，H(X2/X1)为1.4bit，到底那一种正确呢？我们可以通过对一般离散平稳信源的分析来找到这个答案。 分析：我们用 来近似信源的实际熵 第五节 离散平稳信源 3、离散平稳信源的极限熵 平均符号熵 条件熵 有以下几点性质 （1）条件熵随N的增加是非递增的 （2）N给定时，平均符号熵大于等于条件熵 （3）平均符号熵随N的增加是非递增的 （4） 称 为极限熵。 第五节 离散平稳信源 可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵 对于一般信源，求出极限熵是很困难的，然而