信息理论与编码基础复习题试卷及答案.docxVIP

信息理论与编码基础复习题试卷及答案

考试时间：______分钟总分：______分姓名：______

一、选择题（每小题2分，共10分。请将正确选项的字母填在题后的括号内）

1.设信源符号集合为{a,b,c,d}，其出现概率分别为P(a)=1/2,P(b)=1/4,P(c)=1/8,P(d)=1/8。该信源的熵H(X)为？

(A)1bit/符号

(B)1.5bit/符号

(C)2bit/符号

(D)2.5bit/符号

2.下列关于互信息的说法中，正确的是？

(A)互信息总是非负的

(B)互信息衡量的是单个消息的自信息量

(C)互信息I(X;Y)表示在已知Y的条件下，X的不确定性

(D)互信息I(X;Y)的值等于X的熵H(X)减去条件熵H(X|Y)

3.对于一个二进制信源，其符号0和1的发送概率分别为p和1-p(0p1)。对该信源进行等长编码，码长为n，则编码效率R的最大值是？

(A)p

(B)1-p

(C)1

(D)0

4.线性分组码(n,k,d)的最小距离d对该码的纠错能力的影响是？

(A)d越大，纠错能力越弱

(B)d只影响编码效率

(C)d越大，能同时纠正的错误位数越多

(D)d的值不影响码的性能

5.假设一个信道的容量为C，发送端发送的信息速率RC。根据信道编码定理，以下说法正确的是？

(A)可以找到一种编码，使得发送端可以无任何错误地将信息传输到接收端

(B)当R接近C时，无法实现任何可靠的传输

(C)可以找到一种编码，使得错误概率可以任意小，但需要RC

(D)可靠传输的唯一条件是R=C

二、填空题（每小题2分，共10分。请将答案填在题后的横线上）

1.如果一个信源发出符号a和b的概率分别为0.9和0.1，那么符号a的自信息量I(a)=_______(以比特为单位)。

2.对于一个(7,4,3)线性分组码，其生成矩阵的秩为_______。

3.已知信源X和信道输出Y的联合概率P(X,Y)如下表所示（仅给出部分）：

P(X=0,Y=0)=0.4,P(X=0,Y=1)=0.1,P(X=1,Y=0)=0.1,P(X=1,Y=1)=0.4

则互信息I(X;Y)=_______(以比特为单位)。

4.设信源熵H(X)=2bit/符号，信道转移概率P(Y|X=0)=0.8,P(Y|X=1)=0.2。若发送符号0和1的概率均为0.5，则信道输出Y的熵H(Y)=_______bit/符号。

5.根据香农编码定理，对于任何给定的失真测度D和信道容量C，当信源概率分布满足某种条件下，存在一种信源编码，使得平均码长L足够接近其熵H(X)，并且平均失真D(L)≤ε，同时满足L≤Clog?(N)，其中N是码字集大小。这个定理说明了有失真信源编码的理论极限。

三、计算题（共50分）

1.（10分）一个简单的信源发出四种符号，其概率分布为P(A)=1/2,P(B)=1/4,P(C)=1/8,P(D)=1/8。

(1)计算该信源的熵H(X)。

(2)若对该信源进行霍夫曼编码，求每个符号的平均码长L_H。

(3)比较该信源的理论最大编码效率（即用L_H计算的理论值）。

2.（10分）已知一个线性分组码的生成矩阵为G=[101110011]，接收端收到一个码字为[1101010]。假设信道仅引入一位错误。

(1)列出此码的校验矩阵H。

(2)计算接收码字的伴随式S。

(3)判断是否发生错误，若发生错误，指出错误位的位置（从右向左编号，从0开始）。

3.（15分）设有一个二进制对称信道(BSC)，其错误转移概率为p=0.1（即发送0接收1的概率，以及发送1接收0的概率均为0.1）。

(1)求该BSC的信道容量C。

(2)若发送端以1bit/s的速率发送信息，根据信道编码定理，能否保证几乎肯定的无错误传输？为什么？

(3)若信道实际错误概率为10??，为了实现可靠传输，根据香农定理，发送速率应受到什么限制？

4.（15分）考虑一个(3,1,2)卷积码，其生成多项式为g(t)=t2+t+1（模2