北京邮电《信息论基础》试卷(期末)(A2卷).docx

《信息论根底》试卷第

《信息论根底》试卷第10页

试题编号：

北京邮电大学2023/2023学年2学期

评卷人《信息论根底》试卷〔期末〕〔A卷〕〔开卷〕

评卷人

题

号

一

二

三

四

五

六

七

八

九

总分

得

分

一、填空题〔共15分，每空1分〕

1、当 时，信源与信道到达匹配。

2、假设高斯白噪声的平均功率为6W，则噪声熵为 。假设一个平均功率为9W的连续信源的熵等于该噪声熵，则该连续信源的熵功率

为 。

3、信源符号的相关程度越大，信源的符号熵越 ，信源的剩余度越 。

4、离散无记忆信源在进展无失真变长信源编码时，码字长度是变化的。依据信源符号的统计特性，对概率 的符号用短码，对概率 的符号用长码，从而削减平均码长，提高编码效率。

8、香农第一编码定理指出平均码长的理论极限值为 ，

此时编码效率为 。

4、在下面空格中选择填入数学符号“?，?，?，?”或“?”

H

?X??

2

H?X X ?

1 2

2

H ?X?=

3

H?X X X ?

1 2 3

3

H?XY? H?Y??H?X|Y? H?Y??H?X?。

9、有一信源X，其概率分布为

?X?

?x x x x ?

123 4

1

2

?? ?，假设对该信源进展１００次扩展，

?P?

1 1 1 1

? ?

? ? ?2 4 8 8?

则每扩展符号的平均信息量是 。

11、当 时，信源熵为最大值。８进制信源的最大熵为 。

二、推断题〔正确打√，错误打×〕〔共5分，每题1分〕

1〕噪声功率一样的加性噪声信道中以高斯噪声信道的容量为最大。

〔

〕

2〕即时码可以在一个码字后面添上一些码元构成另一个码字。

〔

〕

3〕连续信源的熵可正、可负、可为零，

〔

〕

4〕平均互信息始终是非负的。

〔

〕

5〕信道容量C只与信道的统计特性有关，而与输入信源的概率分布无关。

〔

〕

三、〔10分〕计算机终端发出A、B、C、D、E五种符号，消灭概率分别为1/16，1/16，1/8，1/4，1/2。通过一条带宽为18kHz的信道传输数据，假设信道输出信噪比为2047，试计算：

香农信道容量；

无误码传输的最高符号速率。

四、〔10分〕有一信源发出恒定宽度，但不同幅度的脉冲，幅度值x处在a和a

1 2

之间。

1此信源连至信道，信道接收端接收脉冲的幅度y处在b和b之间。随机变量X和Y

1

2

的联合概率密度函数

p(xy)?

(a ?a

2 1

1

)(b

2

b)

1

试计算h(X),h(Y),h(XY)和I(X;Y)

五、〔10分〕设某信道的传递矩阵为

?0.8

?P??0.1

?

0.1

0.1

0.1?

?0.8?

?

计算该信道的信道容量，并说明到达信道容量的最正确输入概率分布。

六、〔１0分〕设随机变量X和Y的联合概率分布如下所示：

随机变量Z?XY，计算H〔X〕，H〔Z〕，H〔XY〕，H〔X/Z〕，I〔X；Y〕

七、〔20分〕一个离散无记忆信源

?? X ? ? x x

?

? ? ? 1 2

x x x x ?

3 4 5 6?

?P(x)? ?1/16 1/16

1/16 1/16 1/4 1/2?

求H(X)和冗余度；〔4分〕

编成Fano码，计算编码效率；〔8分〕

编成Huffman码，计算编码效率。〔8分〕

? X ? ?x x ?

八、〔10分〕设一个离散无记忆信源的概率空间为?

??? 1

2?，它们通过干扰

?P(x)? ?0.2 0.8?

信道，信道矩阵为P?

?0.9

??0.3

?

0.1?

?0.7?

?

。信道输出符号集为Y??y,y

1 2

?，试计算：

信源X的信息熵；〔２分〕

收到信息y

2

后，获得的关于x

1

的信息量；〔２分〕

共熵H(XY)；〔２分〕

信道疑义度H(X|Y)；〔2分〕

收到消息Y后获得的关于信源X的平均信息量。〔２分〕

九、〔10分〕有一个二元马尔可夫信源，其状态转移概率如下图，括号中的数表示转移时发出的符号。试计算

到达稳定后状态的极限概率。

该马尔可夫信源的极限熵H。

《信息论根底》试卷答案

《信息论根底》试卷答案

一、填空题〔共15分，每空1分〕

1，当〔R=C或信道剩余度为0〕时，信源与信道到达匹配。

2，假设高