信息论基础第二版习题试卷及答案.docxVIP

信息论基础第二版习题试卷及答案

考试时间：______分钟总分：______分姓名：______

一、填空题

1.熵是用来衡量______的，其单位是______。

2.若随机变量X取值{1,2,3}，对应概率分布为P(X=1)=1/2,P(X=2)=1/4,P(X=3)=1/4，则X的信息熵H(X)为______比特。

3.互信息I(X;Y)可以理解为随机变量X和Y之间的______，它是非负的，即I(X;Y)≥0。

4.根据链式法则，联合熵H(X,Y)可以表示为______或______。

5.对于离散无记忆信源，其N次扩展信源的消息熵等于单个消息熵的______倍。

6.香农无失真信源编码定理指出，如果信源的消息熵为H，编码效率为η，则为了实现无失真编码，信源输出符号的平均码长必须满足______。

7.信道容量C是指______。

8.对于一个二进制对称信道（BSC），其错误概率为p，则其容量C为______比特/符号。

9.香农信道编码定理表明，对于任何失真度函数，只要信道传输速率R低于信道容量C，就存在一种编码方案，使得平均失真度______。

10.数据压缩分为______压缩和______压缩两种基本类型。

二、计算题

1.设有一个离散信源，其符号集为{A,B,C,D}，概率分布为P(A