熵函数的性质、随机变量序列的熵率.pptVIP

信源熵（信息熵）;熵函数;性质：;2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0 性质说明：这个信源是一个确知信源，其熵等于零。 3、非负性： H(P) ? 0 说明： 这种非负性合适于离散信源的熵，对连续信源来说这一性质并不存在。以后可看到在相对熵的概念下，可能出现负值。;4、扩展性;5、 可加性;例如，甲信源为;可加性证明;6、极值性 等概率分布时，离散信源熵值达到最大。; 唯一性 香农指出，存在这样的不确定性的度量，它是概率 分布 的函数 ，且该函数应满足： 对称性 极值性 可加性 扩展性 它的形式是唯一的。 ;复习 熵 条件熵 半条件熵 联合熵 ;复习;复习 熵函数的性质H(p1,p2,…, pn) 对称性 非负性 极值性 连续性 扩展性 可加性 ; 二进制信源是离散信源的一个特例 该信源符号只有二个，设为“0”和“1”。符号输出的概率分别为“?”和“1- ?”，即信源的概率空间为：;引理1：一个常用不等式：;引理2：香农辅助定理;定理：1. H(X/Y) ≤H(X) 2. H(XY) ≤H(X)+H(Y) ; 设信源输出的随机序列为 X =(X1X2…Xl…XL) 序列中的变量Xl∈{x1,x2,… xn};离散平稳信源;离散无记忆信源;当离散平稳无记忆信源信源发出固定长度的消息序列时，则得到原信源的扩展信源 。 如果把N个二元数字组成一组，则信源等效成一个具有2N个符号的新信源，把它称为二元无记信源的N次扩展信源。;离散无记忆的扩展信源;[例] 求如下离散无记忆信源的二次扩展信源及其熵。 ;离散平稳无记忆N次扩展信源的熵H(XN)=H(X1X2…XN)=H(X1)+ H(X2|X1)+ H(X3|X1X2)+…+ H(XN|X1X2…XN-1)=H(X1)+ H(X2)+ H(X3)+…+ H(Xn)= N·H(X);ai; 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表; 平均符号熵 ;而;若信源输出一个L长序列，则信源的序列熵为;对离散平稳信源若H1(X)＜? ，则有以下性质： (1) 条件熵H(XN/X1X2…XN-1)随N的增加是递减的； (2) HN(X) ? H(XN/X1X2…XN-1)； (3) HN (X)也是随N增加而递减的； (4) H? 存在，并且:;结论证明;对于有限记忆长度的平稳信源可用有限记忆长度的条件熵来对平稳信源进行信息测度。;信源冗余度及信息变差;一个汉字的熵为9.65bit 一个英文字母的熵为4.12bit 汉字的极限熵平均为4.0462bit 英文按单词(均值4.5个字母)计算平均每个字母的熵是1.65bit 在非扩展无记忆信源中，码字的平均长度不能小于信源的熵。由于汉字的熵为9.65比特，大于8比特，因此，汉字不能使用单字节（8比特）编码，而要使用双字节（16比特）编码。 现代汉语冗余度的上限为75％，下限为55％，平均值为 65％ 英语冗余度的上限为80％，下限为67％，平均值为75％。 冗余度压缩：语音编码、图像编码 ; 熵的意义（对通信系统） H(X)：表示信源中每个符号的平均信息量（信源熵）。 H(Y)：表示信宿中每个符号的平均信息量（信宿熵）。 H(X|Y)：信道疑义度(损失熵，含糊度) H(Y|X)：信道散布度(噪声熵) H(XY)：表示整个信息传输系统的平均不确定性（联合熵）。;解：信源X的熵为：;信源XY输出每一对消息的联合概率为：P(XY) = P(Y/X)P(X) ，结果如下表：;从上述结果可得： H(XY)=H(X)+H(Y/X) =1.461+1.956=3.417(bit/每对符号);联合熵的最大值为：