信息论习题集及答案.docxVIP

信息论习题集及答案

一、单项选择题（共10题，每题1分，共10分）

信息论的主要创始人是（）。

A.香农

B.图灵

C.冯·诺依曼

D.维纳

答案：A

解析：克劳德·香农于二十世纪中叶发表了划时代的论文《通信的数学理论》，奠定了信息论的基础，因此被公认为信息论的主要创始人。图灵是计算机科学和人工智能的先驱，冯·诺依曼是现代计算机体系结构的奠基人之一，维纳是控制论的创始人，他们均非信息论的主要创始人。

信息论中，用来度量一个事件发生所带来信息量大小的基本单位是（）。

A.比特

B.字节

C.奈特

D.哈特莱

答案：A

解析：在信息论中，信息量的基本单位是比特，当以2为底的对数计算概率时，所得信息量的单位即为比特。字节是计算机存储容量的常用单位，1字节等于8比特。奈特和哈特莱分别是以自然对数e和以10为底的对数计算信息量时的单位，但比特是最常用和最基础的单位。

一个信源有四种等可能的输出符号，则每个符号携带的信息量是（）。

A.1比特

B.2比特

C.3比特

D.4比特

答案：B

解析：根据自信息的定义，I=-log?(p)，其中p为符号出现的概率。四种等可能符号，每个符号的概率p=1/4。因此，I=-log?(1/4)=log?(4)=2比特。

对于离散无记忆信源，其信源熵达到最大值的条件是（）。

A.信源符号等概率分布

B.信源符