信息论 - 第2章.pptVIP

联合熵 二维平稳信源X的信息熵的近似值 条件熵 已知前面一个符号 时，输出下一个符号的平均不确定性 输出第二个符号总的平均不确定性（条件熵） 联合熵与条件熵的关系（熵的强可加性） 条件熵与无条件熵的关系 对于一般的离散平稳有记忆信源 信源符号之间的依赖长度为N, 则其联合熵为 极限熵 例题 某一离散二维平稳信源 且 发出的符号只与前一个符号有关，联合概率为 求信源符号之间无依赖关系时信源X的信息熵，有依赖关系时二维信源的条件熵与联合熵。 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 条件概率 为 0 1 2 0 9/11 1/8 0 1 1/11 3/4 2/9 2 0 1/8 7/9 信源符号之间无依赖性时，信源X的信息熵为 （比特/符号） 考虑符号之间有依赖性时，条件熵为 （比特/符号） 联合熵为 （比特/二个符号） （比特/符号） 熵的近似值 一个平面上刻有6行8列的棋型方格，若有二个质点A和B, 分别以等概率落入任一方格内，且它们的坐标分别为（XA, ，YA），（XB ，YB）,但A, B不能落入同一方格内。 （1）若仅有质点A, 求A落入任一格的平均自信息量是多少？(5.58) （2）若已知A落入，求B落入的平均自信息量。(5.55) （3）若A，B是可辨的，求A，B同时落入的平均自信息量。(11.14) 例题 （1）A落入任一格的平均自信息量 （比特） （2）已知A落入，B再落入的平均自信息量 ( 比特） （3）A，B同时落入的平均自信息量 （比特） 马尔科夫信源 例子：有一个信源，输出符号的符号集为{0,1}。此信源输出的符号序列遵守下面的规则： 当前面两位符号是00时，输出符号0的概率为0.8，输出符号1的概率为0.2; 当前面两位符号是01时，输出符号0的概率为0.5，输出符号1的概率为0.5; 当前面两位符号是10时，输出符号0的概率为0.5，输出符号1的概率为0.5; 当前面两位符号是11时，输出符号0的概率为0.2，输出符号1的概率为0.8. 马尔科夫信源 E2 E3 E4 E5 E1 信源符号集 信源状态 (1)某一时刻信源符号的输出只与此刻信源所处的状态有关，而与以前的状态及以前的输出符号无关 （2）信源某时刻所处的状态由当前的输出符号和前一时刻信源的状态唯一决定 时齐的马尔科夫信源 状态转移概率和已知状态下发出符号的概率均与时间无关的马尔科夫信源 m阶马尔科夫信源 m阶有记忆离散信源的数学模型可由一组信源符号集和一组条件概率确定： 并满足 状态 则信源的状态集 马尔科夫信源的信息熵 时齐、遍历的马尔科夫信源的信息熵 其中 为状态 出现的概率 例题 二元二阶马尔科夫信源的符号集为[0,1]，条件概率为 求各状态之间的转移概率与马尔科夫信源的信息熵。 信源有qm=22=4种可能状态，E1=00,E2=01,E3=10,E4=11 状态转移图为 00 01 11 10 0:0.8 0:0.5 1:0.2 0:0.5 1:0.5 1:0.5 0:0.2 1:0.8 其他状态转移概率为0 解方程组，可得 信源的熵 （比特/符号） 信源的剩余度 一个离散信源的符号集为A, B, C, D组成的集合，在信道中传输每个符号所需的时间为5ms。 （1）不同字母等概率出现时，计算传输的平均信息速率？ （2）若每个字母出现的概率分别为pA=1/2, pB=1/4, pC=1/8,pD=1/8,试计算传输的平均信息速率？ 例题 1）不同字母等概率出现时，平均每个字母含有的信息量为 比特/符号 一秒钟可以传输的字母个数为 字母/秒 传输的平均信息速率为 比特/秒 2）概率不同时，平均每个字母含有的信息量为 比特/符号 传输的平均信息速率为 比特/秒 信源的剩余度 熵的相对率：信源实际的信息熵与具有同样符号集的最大熵的比值 信源剩余度：1减去熵的相对率 自然语言的熵 英文字母组成的信源的最大熵