信息论试卷及答案.docxVIP

信息论试卷及答案

考试时间：______分钟总分：______分姓名：______

填空题

1.离散随机变量X的概率分布为{p1,p2,...,pn}，则其信息熵H(X)的计算公式为______。

2.联合熵H(X,Y)与条件熵H(X|Y)、H(Y|X)之间的关系式为H(X,Y)=______。

3.信道容量的定义是______，其数学表达式为C=______。

4.香农第一定理指出，对于熵为H(S)的信源，若对其进行无失真编码，则当码长L满足______时，存在无失真编码。

5.两个离散随机变量X和Y的互信息I(X;Y)定义为______，其值范围为______。

6.汉明码是一种能纠正______位错误的线性分组码，其码长n、信息位k、校验位r满足n=2^r-1，k=______。

7.算术编码的特点是______，与霍夫曼编码相比，其优势在于______。

8.高斯信道的信道容量公式为C=______，其中B为______，S/N为______。

选择题

1.下列关于信息熵的说法，正确的是（）。

A.熵越大，信息的不确定性越小

B.当随机变量取等概率时，熵最大

C.熵的单位取决于对数的底，底为2时单位是比特

D.熵可以为负值

2.互信息I(X;Y)与联合熵H(X,Y)、熵H(X)、H(Y)之间的关系为（）。

A.I(X;Y)=