信息论—02.ppt

离散无记忆的扩展信源 离散无记忆的扩展信源 扩展信源：信源输出的消息是按一定概率选取的由多个符号组成的序列 离散无记忆信源 其N次扩展信源是 其中 N次扩展信源的信息熵 计算公式 例题 有一离散无记忆信源 其信息熵 (比特/符号） 二次扩展信源信息熵 (比特/符号） 离散平稳信源 在任意两个不同时刻发出符号序列的各维联合概率分布都相同的离散信源 其中 与 为两个不同时刻 条件概率：信源在前面已发出N个符号 的基础上再发出符号 的概率，可表示为 N维联合概率：信源输出N个符号的概率，可表示为 联合概率与条件概率的关系 当符号间没有依赖关系时 二维平稳信源及其信息熵 一维离散平稳信源 条件熵 已知前面一个符号 时，输出下一个符号的平均不确定性 输出第二个符号总的平均不确定性（条件熵） 联合熵与条件熵的关系（熵的强可加性） 条件熵与无条件熵的关系 对于一般的离散平稳有记忆信源 信源符号之间的依赖长度为N, 则其联合熵为 例题 某一离散二维平稳信源 且 发出的符号只与前一个符号有关，联合概率为 求信源符号之间无依赖关系时信源X的信息熵，有依赖关系时二维信源的条件熵与联合熵。 条件概率 为 例题 一个平面上刻有6行8列的棋型方格，若有二个质点A和B, 分别以等概率落入任一方格内，且它们的坐标分别为（XA, ，YA），（XB ，YB）,但A, B不能落入同一方格内。 （1）若仅有质点A, 求A落入任一格的平均自信息量是多少？(5.58) （2）若已知A落入，求B落入的平均自信息量。(5.55) （3）若A，B是可辨的，求A，B同时落入的平均自信息量。(11.14) （1）A落入任一格的平均自信息量 （比特） （2）已知A落入，B再落入的平均自信息量 ( 比特） （3）A，B同时落入的平均自信息量 （比特） 马尔科夫信源 信源的剩余度 一个离散信源的符号集为A, B, C, D组成的集合，在信道中传输每个符号所需的时间为5ms。 （1）不同字母等概率出现时，计算传输的平均信息速率？ （2）若每个字母出现的概率分别为pA=1/2, pB=1/4, pC=1/8,pD=1/8,试计算传输的平均信息速率？ 信源的剩余度 熵的相对率：信源实际的信息熵与具有同样符号集的最大熵的比值 信源剩余度：1减去熵的相对率 自然语言的熵 英文字母组成的信源的最大熵 （比特/符号） 实际熵 （比特/符号） 剩余度 汉语的剩余度 * 有一离散信源 如果输出的每二个符号看作一组，则信源可以写成 二次扩展平稳信源 联合熵 二维平稳信源X的信息熵的近似值 极限熵 7/36 1/18 0 2 1/18 1/3 1/18 1 0 1/18 1/4 0 2 1 0 7/9 1/8 0 2 2/9 3/4 1/11 1 0 1/8 9/11 0 2 1 0 信源符号之间无依赖性时，信源X的信息熵为 （比特/符号） 考虑符号之间有依赖性时，条件熵为 （比特/符号） 联合熵为 （比特/二个符号） （比特/符号） 熵的近似值 马尔科夫信源 例子：有一个信源，输出符号的符号集为{0,1}。此信源输出的符号序列遵守下面的规则： 当前面两位