比较犀利花千骨说说.ppt

第四节 离散序列信源的熵 问题： 如何描述离散无记忆序列信源的序列熵？ 如何描述离散有记忆序列信源（平稳序列和齐次遍历马氏链信源）的序列熵？ 2.4.1 离散无记忆信源的序列熵 设信源输出的随机序列为X，X＝（X1 X2…Xl…XL），序列中的变量 即序列长为L。 设：随机序列的概率为 ： p(X=xi)=p(X1=xi1,X2=xi2,……,XL=xiL) =p(xi1)p(xi2/xi1)p(xi3/xi1xi2)…p(xiL/xi1xi2…xiL-1) =p(xi1)p(xi2/xi1)p(xi3/xi12)…p(xiL/xi1L-1) 式中 xi1L-1=xi1xi2…xiL-1 分析： （1）当信源无记忆（序列中的符号之间无相关性）时，p(xi)=p(xi1xi2…xiL)= 其中 （2）若信源的序列满足平稳特性（与序号l无关）时，有p(xi1)=p(xi2)=…=p(xiL)=p，p(xi)＝pL，则信源的序列熵又可表示为H(X)=LH(x). 平均每个符号熵为 HL(X)=H(X)/L=H(x )(单个符号信源的符号熵 ) 第四讲 2003年5月6日 2.4.2 离散有记忆信源的序列熵 问题 对于由两个符号组成的联合信源，有下列结 论： （l）H（X1 X2）＝H（X1）＋H（X2／X1） = H（X2）+ H（X1／X2） （2）H（X1）≥H（X1／X2） H（X2） ≥ H（X2／X1） 当前后符号无依存关系时，有下列推论： H（X1 X2）＝H（X1）＋H（X2） H（X1）= H（X1／X2） H（X2）= H（X2／X1） 由有限个有记忆序列信源符号组成的序列 设：信源输出的随机序列为X，X＝(X1 X2…XL)， 则信源的序列熵定义为 H(X)=H(X1X2…XL) =H(X1)+H(X2/X1)+…+H(XL/X1X2….XL-1) 记作 H（X）=H（XL）= 平均每个符号的熵为  HL（X）=H（X）/L 若当信源退化为无记忆时，有 H（X）= H（Xl ） 若进一步又满足平稳性时，则有 H（X）=LH（X） 例2-4-1 已知: 离散有记忆信源中各符号的概率空间为: 现信源发出二重符号序列消息（ai,aj），这两个符号的概率关联性用条件概率p(aj/ai)表示，并由下表给出。求离散信源的序列熵和平均每个符号的熵? 解：条件熵 H（X2／X1）= 比特/符号 单符号信源熵 比特/符号 发二重符号序列的熵 H（X1 X2）=H（X1）+H（X2/X1） =1.543+0.872=2.415 比特/符号 平均符号熵 H2（X）=H（X2）/2=1.21 比特/符号 说明： 比较上述结果可得： H2（X）H1（X），即二重序列的符号熵值较单符号熵变小了， 也就是不确定度减小了，这是由于符号之间存在关联性（相关性）造成的。 离散平稳序列信源 (1) 时间不变性:联合概率具有时间推移不变性： p{Xi1=x1,Xi2=x2,…….,XiL=xL} = p{Xi1+h=x1,Xx2+h=x2,……,XiL+h=xL } (2) H(XL/XL-1) 是L的单调递减函数 证明: H(XL/X1X2…XL-1)≤H(XL/X2X3…XL-1) (条件较多的熵小于或等于减少一些条件的熵) =H(XL-1/X1X2…XL-2)（平稳性） ≤H(XL-1/X2X3…XL-2) (条件较多的熵小于或等于减少一些条件的熵)