《信息论、编码与密码学》课后习题答案.doc

《信息论、编码与密码学》课后习题答案 第1章 信源编码 考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。 解： 信源熵 H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)] =[0.521+0.5+0.464+0.411+0.332] =2.228(bit) 故得其信源熵H(X)为2.228bit 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为 P+Q=1