《信息論编码与密码学》课后习题答案.doc

《信息论、编码与密码学》课后习题答案 第1章 信源编码 考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。 解： 信源熵 H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)] =[0.521+0.5+0.464+0.411+0.332] =2.228(bit) 故得其信源熵H(X)为2.228bit 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为 P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得 可知当概率P=Q=1/2时，有信源熵 对于三元离散信源，当概率时，信源熵， 此结论可以推广到N元的离散信源。画出曲线和的平面图以表明上述不等式的正确性。 证明： 绘制图形说明如下 可以很明确说明上述 不等式的正确性。 1.4 证明 1.5 有一个信源X，它有无穷多个可能的输出，它们出现的概率为P（Xi）=2i-1,i=1,2,3,….,这个信源的平均自信息H（X）是什么？ 解：因为 P（Xi）=2i-1,i=1,2,3,… 所以 H（X）= - =-log2(2+2.22+3.23+…..+n.2n) =2-（1-n）2n+1 1.6 考虑另一个几何分布的随机变量X，满足P（Xi）=P（1-P）i-1 i=1,2,3,…..,这个信源的 平均自信息H（X）是什么？ 解：因为 P（Xi）= P（1-P）i-1,i=1,2,3, 所以H（X）= - =-logp(1-p)[p(1-p)+2p(1-p)2+3p(1-p)3+…….+np(1-p)n] =(1-n)(1-p)n+1- 1.7 考虑一个只取整数值的随机变量，满足，其中，。求熵。 解：为了方便计算，设，则，； 根据公式计算自信息量为：； 则熵为：=？ 1.8 计算概率分布函数为 的均匀分布随机变量的微分熵。画出相对于参数的平面图，并对结果进行评论。 解：根据公式（1-21）可知，微分熵为： 当时，，则 当或时， ，则 根据得到的结果可以画出相应的平面图，由图可以看到随着的增加，即的减小，微分熵相应的增加。 1.9考虑一个信源的概率为的DMS。 给出此信源的霍夫曼码。 计算出这些码子的平均码长。 这个码的效率是多少？ 解：1）依题意，由霍夫曼编码的规则，得： 1.00 0.65 0.40 0.20 0.35 0.25 0.20 0.15 0.05 表格如下： 符号 概率 自信息 码字 0.35 1.515 1 0.25 2.000 01 0.20 2.322 000 0.15 2.738 0010 0.05 4.322 0011 由平均码长公式 ,代入数据，得： 3）首先，该信源的熵为： 该码的效率为： 符号 概率 自信息 码字 0.20 2.322 01 0.20 2.322 000 0.15 2.738 001 0.15 2.738 100 0.10 1.000 101 0.10 1.000 110 0.05 4.322 1110 0.05 4.322 1111 空 1.11 一个DMS只有三个输出符号，它们的概率为{0.5，0.4，0.1}。 (1)给出此信源的霍夫曼码并确定编码效率。 (2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。 (3)每次考虑三个符号时，给出此信源的霍夫曼码并确定编码效率。 解： (1)本题的霍夫曼编码如下图所示： 图1.11 霍夫曼编码 则霍夫曼码如下表： 符号 概率 码字 x1 0.5 1 x2 0.4 00 x3 0.1 01 该信源的熵为： 平均每个符号的比特数为：