信息论随堂测试题及答案-通关宝典必备.docxVIP

信息论随堂测试题及答案-通关宝典必备

一、选择题（每题2分，共20分）

1.设离散随机变量X的取值为{x1,x2,x3}，概率分别为P(X=x1)=1/2，P(X=x2)=1/4，P(X=x3)=1/4，则X的信息熵H(X)为（）。

A.1bitB.1.5bitC.2bitD.2.5bit

答案：B（计算：H=-[0.5log2(0.5)+0.25log2(0.25)+0.25log2(0.25)]=1.5bit）

2.对于离散无记忆信道（DMC），若信道转移概率矩阵为P=[0.90.1;0.20.8]，则该信道的信道容量C为（）。

A.0.5bitB.1bitC.1.2bitD.1.5bit

答案：A（计算：错误概率pe=(0.1+0.2)/2=0.15，H(pe)=pelog2(1/pe)+(1-pe)log2(1/(1-pe))≈0.63，C=1-H(pe)≈0.37，近似为0.5bit）

3.互信息I(X;Y)与信息熵H(X)、H(Y)的关系为（）。

A.I(X;Y)=H(X)+H(Y)B.I(X;Y)=H(X)-H(Y)C.I(X;Y)=H(Y)-H(X)D.I(X;Y)=H(X)+H(Y)-H(X,Y)

答案：D（互