信息论期末试卷及答案.docxVIP

信息论期末试卷及答案

考试时间：______分钟总分：______分姓名：______

一、选择题（每小题3分，共15分。请将正确选项的字母填在题后的括号内）

1.对于离散随机变量X，其熵H(X)满足以下哪个性质？

(A)H(X)总是正的

(B)H(X)总是负的

(C)H(X)可以为零

(D)H(X)的值取决于随机变量的取值概率分布

2.设X和Y是两个离散随机变量，已知P(X=0,Y=1)=1/4,P(X=1,Y=1)=1/2,P(X=1,Y=0)=1/4。则互信息I(X;Y)等于？

(A)1bit

(B)0.5bit

(C)0.25bit

(D)无法计算

3.对于一个无记忆信道，其信道转移概率矩阵为P=[[p,1-p],[1-p,p]]。该信道的信道疑义度（或称平均互信息）H(X|Y)等于？

(A)plogp+(1-p)log(1-p)

(B)2p(1-p)log(2/(1-p))

(C)0

(D)1bit

4.根据香农无失真信源编码定理，当信源熵为H，码长为n，码字个数为2^n时，为了实现无失真编码，信源符号概率分布满足的条件是？

(A)所有符号等概率出现

(B)概率分布任意

(C)概率分布满足Kraft不等式

(D)概率分布必须是非均匀的

5.信道容量C是指？

(A)信道输出端的最大熵

(B)信道输入端和输出端之间最大的互信息量

(C)信道传输信息的最大速率

(D)信道转移概率的最大值

二、填空题（每小题3分，共15分。请将答案填在题后的横线上）

6.若离散随机变量X取值{0,1}，其概率分布为P(X=0)=0.7,P(X=1)=0.3，则X的熵H(X)=______bits。

7.条件熵H(X|Y)表示在已知随机变量Y的条件下，随机变量X的不确定性，它满足关系H(X)≤H(X|Y)______。

8.对于任意两个离散随机变量X和Y，互信息I(X;Y)和条件熵H(X|Y)以及联合熵H(X,Y)之间存在关系：I(X;Y)=______。

9.线性分组码的编码过程通常涉及生成矩阵G，译码过程通常利用译码矩阵H或其行向量，以实现______。

10.信源编码的基本目标是在保证信息传输______的前提下，尽可能地压缩码长。

三、计算题（每小题10分，共40分）

11.设有信源发出符号{A,B,C,D}，其概率分布分别为P(A)=1/2,P(B)=1/4,P(C)=1/8,P(D)=1/8。求该信源的信息熵H(X)。

12.已知信道转移概率矩阵为P=[[1/2,1/4,1/4],[1/4,1/2,1/4],[1/4,1/4,1/2]]。求该信道的信道容量C。

13.对于随机变量X和Y，已知P(X=0,Y=0)=1/8,P(X=0,Y=1)=3/8,P(X=1,Y=0)=3/8,P(X=1,Y=1)=1/8。计算互信息I(X;Y)。

14.设信源发出符号{0,1}，概率分布为P(0)=0.9,P(1)=0.1。若使用香农编码对其进行无失真编码，求平均码长L*。

四、简答题（每小题10分，共20分）

15.简述互信息I(X;Y)与相关系数之间的区别与联系。

16.解释信道编码定理的基本思想，并说明信道容量在其中的作用。

试卷答案

一、选择题

1.(C)

2.(A)

3.(A)

4.(C)

5.(B)

二、填空题

6.0.81

7.且

8.H(X,Y)-H(X|Y)

9.错误检测（或纠错）

10.无失真

三、计算题

11.H(X)=-[p(A)logp(A)+p(B)logp(B)+p(C)logp(C)+p(D)logp(D)]

=-[(1/2)log(1/2)+(1/4)log(1/4)+(1/8)log(1/8)+(1/8)log(1/8)]

=-[(1/2)*(-1)+(1/4)*(-2)+(1/8)*(-3)+(1/8)*(-3)]

=1-1/2-1/2+3/8+3/8

=2-1+3/4

=1+3/4

=7/4=1.75bits

12.C=maxI(X;Y)

I(X;Y)=H(X)-H(X|Y)

H(X)=-[1/2log(1/2)