信息论基础考试试卷及答案.docVIP

信息论基础考试试卷及答案

一、单项选择题（每题2分，共20分）

1.信息论的创始人是（）

A.香农

B.维纳

C.仙农

D.哈特莱

2.信源熵的单位是（）

A.比特

B.奈特

C.哈特

D.以上都有可能

3.平均互信息\(I(X;Y)\)与信源熵\(H(X)\)和条件熵\(H(X|Y)\)的关系是（）

A.\(I(X;Y)=H(X)-H(X|Y)\)

B.\(I(X;Y)=H(X)+H(X|Y)\)

C.\(I(X;Y)=H(X|Y)-H(X)\)

D.\(I(X;Y)=H(X|Y)+H(X)\)

4.对于离散无记忆信源，其\(N\)次扩展信源的熵是单符号信源熵的（）

A.\(N\)倍

B.\(N\)次方倍

C.不变

D.无法确定

5.以下哪种编码是唯一可译码（）

A.等长非即时码

B.变长非即时码

C.等长即时码

D.变长非唯一可译码

6.最大离散熵定理表明，离散信源在（）时达到最大熵。

A.等概率分布

B.均匀分布

C.高斯分布

D.泊松分布

7.信道容量\(C\)是信道能够传输的（）

A.最大信息速率

B.平均信息速率

C.最小信息速率

D.信息总量

8.以下关于连续信源熵的说法，正确的是（）

A.连续信源熵可以为负

B.连续信源熵一定为正

C.连续信源熵恒为零

D.连续信源熵无意义

9.香农编码是一种（）

A.等长编码

B.变长编码

C.分组编码

D.卷积编码

10.率失真函数\(R(D)\)是关于失真度\(D\)的（）

A.单调递增函数

B.单调递减函数

C.先增后减函数

D.先减后增函数

二、多项选择题（每题2分，共20分）

1.信息的度量方式有（）

A.自信息

B.互信息

C.信源熵

D.条件熵

2.以下属于离散信源的有（）

A.文字信源

B.语音信源

C.图像信源

D.数字信源

3.平均互信息\(I(X;Y)\)具有的性质有（）

A.非负性

B.对称性

C.极值性

D.凸函数性

4.信道编码的目的是（）

A.提高信息传输的可靠性

B.提高信息传输的有效性

C.降低误码率

D.增加信息传输速率

5.以下关于信源编码的说法正确的有（）

A.信源编码可以减少信源的冗余度

B.信源编码可以提高信息传输的有效性

C.变长信源编码一定是唯一可译码

D.等长信源编码一定是唯一可译码

6.连续信源的熵与（）有关。

A.信源的概率密度函数

B.信源的取值范围

C.信源的均值

D.信源的方差

7.以下属于变长编码方法的有（）

A.哈夫曼编码

B.香农编码

C.费诺编码

D.算术编码

8.信道容量的计算方法有（）

A.离散无记忆信道容量的计算

B.连续信道容量的计算

C.有约束信道容量的计算

D.对称信道容量的计算

9.率失真函数\(R(D)\)的性质有（）

A.非负性

B.单调递减性

C.凸函数性

D.上凸性

10.信息论在以下哪些领域有应用（）

A.通信领域

B.密码学领域

C.数据压缩领域

D.图像处理领域

三、判断题（每题2分，共20分）

1.自信息是一个随机变量，其数学期望就是信源熵。（）

2.平均互信息\(I(X;Y)\)可以小于零。（）

3.离散无记忆信源的\(N\)次扩展信源的熵等于单符号信源熵的\(N\)次方。（）

4.唯一可译码一定是即时码。（）

5.信道容量是信道能够传输的最大平均信息速率。（）

6.连续信源的熵具有非负性。（）

7.香农编码是一种最佳变长编码。（）

8.率失真函数\(R(D)\)是关于失真度\(D\)的单调递减函数。（）

9.信源编码的目的是提高信息传输的可靠性。（）

10.信息论只适用于通信领域。（）

四、简答题（每题5分，共20分）

1.简述信息与消息、信号的关系。

2.什么是信源熵，它有什么意义？

3.简述信道容量的定义和物理意义。

4.简述率失真函数\(R(D)\)的定义和意义。

五、讨论题（每题5分，共20分）

1.讨论信源编码和信道编码的区别与联系。

2.讨论离散信源和连续信源熵的异同点。

3.讨论信息论在现代通信系统中的重要性。

4.讨论哈夫曼编码的优缺点。

答案

一、单项选择题

1.A

2.D

3.A

4.A

5.C

6.A

7.A

8.A

9.B

10.B

二、多项选择题

1.ABCD

2.AD

3.ABC

4.AC

5.AB

6.AB