信息论重点考试题及答案.docVIP

信息论重点考试题及答案

一、选择题（每题3分，共15分）

1.信息论中，信息的度量单位是（）

A.比特B.字节C.赫兹D.瓦特

2.以下哪个是离散信源的信息熵计算公式（）

A.H(X)=-∑p(x)logp(x)B.H(X)=∑p(x)logp(x)C.H(X)=-∑p(x)log(1/p(x))D.H(X)=∑p(x)log(1/p(x))

3.信源编码的目的是（）

A.提高信息传输的可靠性B.提高信息传输的有效性C.增加信息的冗余度D.降低信息的传输速率

4.以下哪种编码属于无失真编码（）

A.哈夫曼编码B.香农编码C.费诺编码D.以上都是

5.信息传输速率R与信道容量C的关系是（）

A.RCB.R=CC.R≤CD.无关系

二、填空题（每题3分，共15分）

1.信息论的创始人是（）。

2.离散信源的自信息定义为（）。

3.信道编码的目的是（）。

4.香农第二定理表明（）。

5.平均互信息I(X;Y)的物理意义是（）。

三、简答题（每题10分，共30分）

1.简述信息熵的性质。

2.说明哈夫曼编码的基本步骤。

3.解释信道容量的概念及其计算方法。

四、计算题（每题20分，共40分）

1.已知离散信源X={x1,