信息论与编码第二章 离散信源新教材课程.ppt

关于离散二维平稳信源联合熵的说明 H(X1X2) 表示原来信源X输出任意一对消息的共熵，即描述信源X输出长度为2的序列的平均不确定性（或所含有的信息量）。 可用H(X1X2)/2作为信源X的信息熵的近似值。 从另一角度（来研究信源X的信息熵的近似值）： （1）由于信源X发出的符号序列中前后两个符号之间有依赖性，可以先求出在已知前面一个符号Xl＝ai时，信源输出下一个符号的平均不确定性： （2）前面一个符号Xl又可取ai?{a1，a2，…，aq}中任一个，对某一个ai存在一个平均不确定性H(X2/X1＝ai)，那么对所有ai的可能值进行统计平均就得当前面一个符号巳知时，再输出下一个符号的总的平均不确定性H(X2/X1) ： （3）根据概率关系，可以得到联合熵与条件熵的关系： （4）也可以得到条件熵和无条件熵的关系 H(X2/X1) ? H(X2) （证明见p43） 因此 H(X1X2)＝H(X1)+H(X2/X1) ? H(X1)+H(X2) = 2H(X) 所以，一般情况下，输出二个符号的联合熵总是小于二倍信源的熵。 例8 某一离散二维平稳信源 其发出的符号只与前一个符号有关，即可用联合概率P(aiaj)给出它们的关联程度，如下表所示 求信源的熵H(X)、条件熵H(X2/X1)和联合熵H(X1X2) 。 P(aiaj) aj ai 0 1 2 0 1/4 1