2025年信息论基础试题.docVIP

信息论基础试题

一、选择题

1.信息论的创始人是（）[单选题]*

A.香农

B.图灵

C.冯·诺依曼

D.爱因斯坦

答案：A。原因：香农被公认为信息论的创始人，他在1948年发表的论文《通信的数学理论》奠定了现代信息论的基础。图灵主要贡献在计算机科学领域的图灵机等方面；冯·诺依曼对计算机体系结构等有巨大贡献；爱因斯坦主要贡献在相对论等物理学领域。

2.以下哪个概念是信息论中的基本概念，表示信息的不确定性（）[单选题]*

A.熵

B.概率

C.信息量

D.码元

答案：A。原因：熵是信息论中的基本概念，它表示信息的不确定性。概率是事件发生的可能性大小；信息量是对信息多少的一种度量，但不是表示不确定性本身；码元是在数字通信中对信号的一种基本单元的称呼。

3.信源发出的信号共有4种可能状态，且每种状态等概率出现，该信源的熵为（）[单选题]*

A.1bit

B.2bits

C.3bits

D.4bits

答案：B。原因：信源熵的计算公式为\(H=log_2n\)（\(n\)为信源可能的状态数），这里\(n=4\)，\(log_24=2\)bits。

4.下列关于互信息的说法正确的是（）[单选题]*

A.互信息一定是非负的

B.互信息可以为负

C.互信息与熵没有关系

D.互信息只取决于信源

答案：A。原因：互信息\(I(X;Y)\)满足\(I(X;Y)\geq0\)，它表示在知道\(Y\)后\(X\)的不确定性减少的量，与信源和信道都有关系，并且和熵有紧密联系，它可以通过熵来计算。

5.在无记忆离散信源中，信源符号的概率分布为\(P(x_1)=0.2\)，\(P(x_2)=0.3\)，\(P(x_3)=0.5\)，该信源的熵为（）[单选题]*

A.1.485bits

B.1.5bits

C.2bits

D.0.971bits

答案：A。原因：根据离散信源熵的计算公式\(H(X)=-\sum_{i=1}^{n}P(x_i)log_2P(x_i)\)，代入\(P(x_1)=0.2\)，\(P(x_2)=0.3\)，\(P(x_3)=0.5\)计算可得\(H(X)=-(0.2log_20.2+0.3log_20.3+0.5log_20.5)\approx1.485\)bits。

6.以下哪种编码方式是信息论中常见的变长编码（）[单选题]*

A.莫尔斯电码

B.格雷码

C.8421码

D.循环码

答案：A。原因：莫尔斯电码是一种变长编码，不同的字符由不同长度的点和划组合而成。格雷码是一种无权码，主要特点是相邻代码只有一位不同；8421码是一种常见的BCD码，是定长编码；循环码是一种具有循环特性的编码，通常为定长编码。

7.对于一个离散无记忆信道，信道容量是（）[单选题]*

A.信道输入和输出之间的最大互信息

B.信道输入的最大熵

C.信道输出的最大熵

D.信道传输的最大码元数

答案：A。原因：离散无记忆信道的信道容量定义为信道输入和输出之间的最大互信息，它反映了信道能够可靠传输的最大信息量。信道输入的最大熵与信道容量不是同一个概念；信道输出的最大熵也不等同于信道容量；信道传输的最大码元数不是信道容量的定义。

8.以下关于信道编码的目的说法正确的是（）[多选题]*

A.提高信息传输的可靠性

B.增加信息的冗余度

C.降低误码率

D.提高信息传输速率

答案：ABC。原因：信道编码的主要目的是提高信息传输的可靠性，通过增加信息的冗余度来实现，冗余信息可以帮助接收端纠正传输过程中的错误，从而降低误码率。但是信道编码通常会降低信息传输速率，因为增加了冗余信息占用了一定的传输资源。

9.如果一个信源编码的平均码长为\(L\)，信源熵为\(H\)，那么编码效率\(\eta\)为（）[单选题]*

A.\(\frac{H}{L}\)

B.\(\frac{L}{H}\)

C.\(H\timesL\)

D.\(\frac{1}{H\timesL}\)

答案：A。原因：编码效率\(\eta=\frac{H}{L}\)，其中\(H\)是信源熵表示信源的信息量，\(L\)是平均码长，编码效率反映了编码方案对信源信息的利用程度。

10.在信息传输中，以下哪种噪声对信号的影响是不可避免的（）[单选题]*

A.人为噪声

B.自然噪声

C.热噪声

D.脉冲噪声

答案：C。原因：热噪声是由导体中电子的热运动产生的，只要有温度就会存在，在信息传输中是不可避免的。人为噪声可以通过合理的管理和措施减少；自然噪声有些可以通过选址等方式避免；脉冲噪声可以通过滤波等方式进行一定程度的抑制。

11.信息论中，衡量两个概率分布\(P\)和\(Q\)之间差异