信息论基础 课件 第2章 离散信源.ppt

（2）信源的下一个状态由当前状态和下一刻的输出唯一确定。 条件（2）表明，若信源处于某一状态 ，当它发出 一个符号后，所处的状态就变了，一定转移到另一状态。 状态的转移依赖于发出的信源符号，因此任何时刻信源处 在什么状态完全由前一时刻的状态和发出的符号决定。 联合概率与条件概率有以下关系：???? 结论：对于平稳信源来说，其条件概率均与时间起点无关，只与关联长度N有关。它表示平稳信源发出的平稳随机序列前后的依赖关系与时间起点无关。 如果某时刻发出什么符号只与前面发出的N个符号有关，那么任何时刻它们的依赖关系都是一样的。即： ???????????????????????????????????????????????????? 2)二维平稳信源及其信息熵 二维平稳信源满足一维和二维概率分布与时间起点无关。 同时已知：连续两个信源符号出现的联合概率分布为P(ai aj) (i, j = 1,…,q) ，且： 设有一个离散二维平稳信源，其概率空间为： 对离散二维平稳信源的信息测度： 由于只有两个符号有关联，且其关联与时间无关，则可把这个信源输出的随机序列分成每二个符号一组(因为相邻的两个符号才有关联)，每组构成新信源的一个符号，并假设组与组之间统计无关(实际上，组尾的符号与下一组组头的符号是有关的)。 这时，等效成一个新的信源X1X2，它们的联合概率空间为： 根据信息熵的定义，得： H(X1X2)称为X1X2的联合熵。 关于离散二维平稳信源联合熵 H(X1X2) 表示原来信源X输出任意一对消息的共熵，即描述信源X输出长度为2的序列的平均不确定性（或所含有的信息量）。 可用H(X1X2)/2作为信源X的信息熵的近似值。 从另一角度（来研究信源X的信息熵的近似值）： （1）由于信源X发出的符号序列中前后两个符号之间有依赖性，可以先求出在已知前面一个符号Xl＝ai时，信源输出下一个符号的平均不确定性： （2）前面一个符号Xl又可取ai?{a1，a2，…，aq}中任一个，对某一个ai存在一个平均不确定性H(X2/X1＝ai)，那么对所有ai的可能值进行统计平均就得当前面一个符号已知时，再输出下一个符号的总的平均不确定性H(X2/X1) ： （3）根据概率关系，可以得到联合熵与条件熵的关系： 即：H(X1X2)＝H(X1)+H(X2/X1) 而 H(X2/X1) ? H(X2) 因此 H(X1X2)＝H(X1)+H(X2/X1) ? H(X1)+H(X2) = 2H(X) 所以，一般情况下，输出二个符号的联合熵总是小于二倍信源的熵。 [例] 某一离散二维平稳信源 其发出的符号只与前一个符号有关，即可用联合概率P(aiaj)给出它们的关联程度，如下表所示 求信源的熵H(X)、条件熵H(X2/X1)和联合熵H(X1X2) 。 P(aiaj) aj ai 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 解：根据概率关系可计算得条件概率P（aj/ai）,计算结果列表如下： aj ai 0 1 2 0 9/11 1/8 0 1 2/11 3/4 2/9 2 0 1/8 7/9 P(aiaj) aj ai 0 1 2 0 1/4 1/18 0 1 1/18 1/3 1/18 2 0 1/18 7/36 得： 虽然信源X发出的随机序列中每个符号只与前一个有直接关联，但在平稳序列中，由于每一时刻的符号都通过前一个符号与更前一个符号联系起来，因此序列的关联是可引伸到无穷的。 二维平稳信源的信息熵的近似值 　到底选取哪一个值更能接近实际二维平稳信源的熵，通过后面对一般离散平稳信源的分析来解决这个问题。 3)离散平稳信源的极限熵 平均符号熵 离散平稳信源输出N长的信源符号序列中平均每个信源符号所携带的信息量称为平均符号熵，记为 HN(X)= H(X1X2…XN) N维条件熵 H(Xn/X1…Xn-1)＝－ 极限熵 若离散平稳信源当N趋于无穷时，平均符号熵的极限存在，则称此极限为离散平稳信源的极限熵，记为 ＝ 离散平稳信源信息熵的性质（4点） 当H(X) 时，有下述性质成立： (1)条件熵H(Xn/X1…Xn-1)随着N的增大是非递增的，即 H(XN /X1X2…XN-1) H(XN-1 /X1X2…XN-2