信息论与编码第二章课件.ppt

（2）当信源无记忆、满足平稳特性时平均每个符号熵为: 即平均每个符号熵等于单个符号熵。 【例2.3-2】一个无记忆信源，随机变量X∈{0；1}等概分布.求(1)以单个消息出现的信源熵;(2)两个消息出现信源熵;(3)信源的平均符号熵 . 2.3多符号离散信源 解: （1）以单个消息出现： H(X)= （2）两个消息出现：(N=2的序列) 随机序列 或 (比特/符号) （3）信源的平均符号熵： 2.3多符号离散信源 2-5己知二维随机变量XY的联合概率分布p(xiyj)为: p(0,0)=p(1,1)=1/8，p(0,1)=p(1,0)=3/8， 求H(X/Y)。 上次课内容： 2.2.5互信息量 2.2.6数据处理中信息的变化 2.3多符号离散信源 2.3.1离散无记忆序列信源 1、互信息量 xi的后验概率与先验概率比值的对数，为yj 对xi的互信息量，也称为交互信息量（简称互信息），用I(xi；yj)表示，即： （i=1，2，……n；j=1，2，……m） 2.2.5互信息量 2、什么是平均互信息量 互信息量I(xi ;yj)在联合概率空间P(XY)上的统计平均值称为平均互信息量。 用I(X;Y)表示 3、数据处理定理 当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 4、写出离散平稳、无记忆信源N次扩展信源的熵 即N个符号序列组成的序列信源熵为 H(X)= 2.3.2 离散有记忆平稳信源 2.3.3马尔可夫信源 本次课内容 2.3.2 离散有记忆平稳信源 发出的各个符号之间具有统计关联关系信源。 有记忆信源，必须引入条件熵的概念，且只能在某些特殊情况下才能得到一些有价值的结论。 1．离散平稳信源信息测度 设二维平稳信源X=X1X2。根据信源熵的定义可得 =H(X1)+H(X2/X1)=H(X2)+H(X1/X2) H(X1)≥H(X1/X2) H(X2)≥H(X2/X1) 2.3多符号离散信源 ①当随机变量Xl和X2相互独立时有： H(X1X2)=H(X1)+H(X2) H(X2)=H(X2/X1) ②当信源输出一N长序列，则信源序列熵为： H(X)＝H(X1X2…XN) ＝H(X1)＋H(X2/X1)＋…＋H(XN/X1X2…XN－1) 记为:H(X)=H(XN)= ③平均每个符号的熵为 若当信源退化为无记忆时，有H(X)=NH(X) 2.3多符号离散信源 H(X1X2)=H(X1)+H(X2/X1)=H(X2)+H(X1/X2) 2. 离散平稳信源信息熵的性质 当H(X)＜∞时，下述性质成立 (1)条件熵H(XN/X1X2………XN-1)随着N的增大是非递增的,即 H(XN/X1X2……XN-1)≤H(XN-1/X1X2......XN-2) ≤.......H(X3/X1X2)≤H(X2/X1) (2)N给定时平均符号熵大于条件熵,即 HN(X)≥H(XN/X1X2......XN-1) 2.3多符号离散信源 (3)平均符号熵HN(X)也是随着N的增大而非递增的,即 HN(X)≤HN-1(X)……≤H3(X)≤H2(X)≤H1(X) (4)H∞存在时,有 称为极限熵，又称极限信息量。 2.3多符号离散信源 【例2.3-3】某一离散二维平稳信源 设发出的符号与前一个符号有关,联合概率p(aiaj)见表 ai aj a0 a1 a2 a0 1/4 1/18 0 a1 1/18 1/3 1/18 a2 0 1/18 7/36 求:信源序列熵和平均符号熵。 2.3多符号离散信源 2.3多符号离散信源 解:由二重符号序列熵公式H(x1x2)=H(x1)+H(x2/x1) 平均符号熵:H2(x)=1/2H(x1x2), 由 表中列相加 1/4+1/18=(9+2)/36=11/36， 2×(1/18)+1/3=8/18，1/18+7/36=1/4 由上表可求出条件概率 P(a0/a0)=(1/4)/(11/36)=9/11 P(a1/a0)=(1/18)/(11/36)=2/11 余同 P(a2/a0)=0 ai aj a0 a1 a2 a0 1/4 1/18 0 a1 1/1