信息论试题及答案.docxVIP

信息论试题及答案

姓名：__________考号：__________

题号

一

二

三

四

五

总分

评分

一、单选题(共10题)

1.信息熵的数学表达式是什么？()

A.H(X)=-∑p(x)log2p(x)

2.以下哪个不是信息量的单位？()

A.比特

B.字节

C.纳特

D.比特/秒

3.信息增益的定义是什么？()

A.特定属性的信息熵与训练集信息熵的差值

4.条件熵的定义是什么？()

A.特定条件下信息熵的期望值

5.互信息是什么？()

A.两个随机变量之间的不确定性

6.假设某事件的发生概率为0.2，那么它的信息量是多少比特？()

A.0.7比特

B.0.6比特

C.0.5比特

D.0.4比特

7.信息增益率与信息增益的区别是什么？()

A.信息增益率考虑了属性的平均信息量，而信息增益不考虑

8.在决策树中，剪枝的目的是什么？()

A.减少过拟合

B.增加过拟合

C.提高计算效率

D.降低决策树的复杂度

9.假设某决策树模型在训练集上的准确率为90%，在测试集上的准确率为70%，这可能是由于什么原因造成的？()

A.训练集和测试集不匹配

B.树的复杂度过高

C.模型选择不合适

D.训练时间不足

10.以下哪个不是熵增定理的应用场景？()