信息论与编码-曹雪虹-第二章-课后习题答案试卷及答案.docxVIP

信息论与编码-曹雪虹-第二章-课后习题答案试卷及答案

考试时间：______分钟总分：______分姓名：______

1.（4分）设离散信源X的可能取值为{x1,x2,x3}，对应概率为{0.5,0.3,0.2}，则信源熵H(X)为（）。

A.1.486bit/符号B.1.585bit/符号C.2bit/符号D.1.796bit/符号

2.（4分）关于香农第一定理（无失真信源编码定理），以下说法正确的是（）。

A.只要码长足够长，一定存在无失真编码使平均码长L≥H(X)

B.信源熵H(X)是平均码长的下限，即L≥H(X)

C.霍夫曼编码的平均码长一定达到香农极限

D.费诺编码的平均码长一定小于霍夫曼编码

3.（4分）设两个离散随机变量X和Y的联合概率分布已知，互信息I(X;Y)的计算公式可以是（）。

A.H(X)+H(Y)-H(XY)

B.H(X)-H(X|Y)

C.H(Y)-H(Y|X)

D.以上都是

4.（4分）霍夫曼编码的特点不包括（）。

A.即时码

B.唯一可译码

C.平均码长最小

D.适用于所有概率分布

5.（4分）多选题：关于离散信源熵，以下说法正确的有（）。

A.熵的单位可以是bit或nat

B.当信源符号等概率时，熵最大

C.熵是非负的

D.熵与信源符号的数量无关

6.（4分）离散信源熵H(X)的计算公式为__________。

7.（4分）互信息I(X;Y)等于H(X)减去__________。

8.（4分）霍夫曼编码中，若信源符号概率相等，应__________。

9.（4分）香农编码中，码长Li的计算公式为__________。

10.（4分）信源冗余度γ的计算公式为__________。

11.（14分）离散信源X的概率空间为：

X={x1,x2,x3,x4},P(X)={0.4,0.3,0.2,0.1}。

（1）计算信源熵H(X)；（2）求信源冗余度γ。

12.（13分）对上述信源X进行霍夫曼编码，给出编码方案，并计算平均码长L和编码效率η。

13.（13分）设联合概率分布p(x1,y1)=0.1,p(x1,y2)=0.2,p(x2,y1)=0.3,p(x2,y2)=0.4。计算H(X),H(Y),H(X|Y)和I(X;Y)。

14.（10分）证明离散信源熵的非负性，即H(X)≥0。

15.（10分）某信源符号为A,B,C,D，概率分别为0.5,0.3,0.15,0.05。设计霍夫曼编码方案，并比较等长编码的最小码长。

试卷答案

1.A.1.486bit/符号解析思路：使用熵的公式H(X)=-∑p(xi)log2p(xi)，代入概率0.5、0.3、0.2计算得-0.5*log2(0.5)-0.3*log2(0.3)-0.2*log2(0.2)≈1.486。

2.B.信源熵H(X)是平均码长的下限，即L≥H(X)解析思路：香农第一定理核心结论，平均码长不能小于信源熵。

3.D.以上都是解析思路：互信息公式等价于H(X)+H(Y)-H(XY)、H(X)-H(X|Y)、H(Y)-H(Y|X)，三者均正确。

4.D.适用于所有概率分布解析思路：霍夫曼编码适用于任何概率分布，但非所有情况都达到最优。

5.A、B、C解析思路：熵单位可为bit或nat；等概率时熵最大；熵非负；熵与符号数量相关。

6.H(X)=-∑p(xi)log2p(xi)解析思路：离散信源熵的标准定义公式。

7.H(X|Y)解析思路：互信息I(X;Y)=H(X)-H(X|Y)，条件熵是减项。

8.合并概率最小的符号解析思路：霍夫曼编码规则，优先合并概率最小的两个符号。

9.Li=?-log2p(xi)?解析思路：香农编码中码长取向上取整的对数负值。

10.γ=1-H(X)/Hm(X)解析思路：冗余度定义为1减去熵与最大熵的比值。

11.（1）H(X)≈1.846bit/符号；（2）γ=0.077解析思路：（1）用熵公式计算-0.4*log2(0.4)-0.3*log2(0.3)-0.2*log2(0.2)-0.1*log2(0.1)≈1.846；（2）最大熵log2(4)=2，冗余度1-1.846/2=0.077。

12.编码方案：x1→0,x2→10,x3→110,x4→111；L=1.9,η≈97.16%解析思路：霍夫曼编码合并步骤，x4和x3合并（0.1+0.2=0.3），再与x2合并（0.3+0.3=0.6），