《信息论编码与密码学》课后习题答案.docVIP

《信息论、编码与密码学》课后习题答案 第1章 信源编码 考虑一个信源概率为{0.30，0.25，0.20，0.15，0.10}的DMS。求信源熵H（X）。 解： 信源熵 H(X)=-[0.30*(-1.737)+0.25*(-2)+0.2*(-2.322)+0.15*(-2.737)+0.1*(-3.322)] =[0.521+0.5+0.464+0.411+0.332] =2.228(bit) 故得其信源熵H(X)为2.228bit 证明一个离散信源在它的输出符号等概率的情况下其熵达到最大值。 解： 若二元离散信源的统计特性为 P+Q=1 H(X)=-[P*log(P)+(1-P)*log(1-P)] 对H(X)求导求极值，由dH(X)/d(P)=0可得 可知当概率P=Q=1/2时，有信源熵 对于三元离散信源，当概率时，信源熵， 此结论可以推广到N元的离散信源。 1.3 证明不等式。画出曲线和的平面图以表明上述不等式的正确性。 证明： Y=lnxY=x-1yx1绘制图形说明如下 Y=lnx Y=x-1 y x 1 可以很明确说明上述 不等式的正确性。 1.4 证明 1.5 有一个信源X，它有无穷多个可能的输出，它们出现的概率为P（Xi）=2i-1,i=1,2,3,….,这个信源的平均自信息H（X）是什么？ 解：因为 P（Xi）=2i-1,i=1,2,3,… 所以 H（X）= - =-log2(2+2.22+3.23+…..+n.2n) =2-（1-n）2n+1 1.6 考虑另一个几何分布的随机变量X，满足P（Xi）=P（1-P）i-1 i=1,2,3,…..,这个信源的 平均自信息H（X）是什么？ 解：因为 P（Xi）= P（1-P）i-1,i=1,2,3, 所以H（X）= - =-logp(1-p)[p(1-p)+2p(1-p)2+3p(1-p)3+…….+np(1-p)n] =(1-n)(1-p)n+1- 1.7 考虑一个只取整数值的随机变量，满足，其中，。求熵。 解：为了方便计算，设，则，； 根据公式计算自信息量为：； 则熵为：=？ 1.8 计算概率分布函数为 的均匀分布随机变量的微分熵。画出相对于参数的平面图，并对结果进行评论。 解：根据公式（1-21）可知，微分熵为： 当时，，则 当或时， ，则 根据得到的结果可以画出相应的平面图，由图可以看到随着的增加，即的减小，微分熵相应的增加。 0 0 0.1 10 1.9考虑一个信源的概率为的DMS。 给出此信源的霍夫曼码。 计算出这些码子的平均码长。 这个码的效率是多少？ 解：1）依题意，由霍夫曼编码的规则，得： 1.00 0.65 0.40 0.20 0.35 0.25 0.20 0.15 0.05 表格如下： 符号 概率 自信息 码字 0.35 1.515 1 0.25 2.000 01 0.20 2.322 000 0.15 2.738 0010 0.05 4.322 0011 由平均码长公式 ,代入数据，得： 3）首先，该信源的熵为： 该码的效率为： 1.10考虑一个信源概率为{0.35，0.20，0.15，0.15，0.10，0.10，0.05，0.05}的DMS。 (1)给出此信源的一种有效定长码。 (2)给出此信源的霍夫曼码。 (3)比较这两种码并给出评论。 解：1）空 依题意，由霍夫曼编码的规则，得: 符号 概率 自信息 码字 0.20 2.322 01 0.20 2.322 000 0.15 2.738 001 0.15 2.738 100 0.10 1.000 101 0.10 1.000 110 0.05 4.322 1110 0.05 4.322 1111 空 1.11 一个DMS只有三个输出符号，它们的概率为{0.5，0.4，0.1}。 (1)给出此信源的霍夫曼码并确定编码效率。 (2)每次考虑两个符号时，给出此信源的霍夫曼码并确定编码效率。 (3)每次考虑三个符号时，给出此信源的霍夫曼码并确定编码效率。 解： (1)本题的霍夫曼编码