2025年知识蒸馏模型压缩方法考核试卷.docVIP

2025年知识蒸馏模型压缩方法考核试卷

一、单项选择题（每题1分，共30题）

1.知识蒸馏模型压缩方法中最常用的损失函数是？

A.交叉熵损失

B.均方误差损失

C.Kullback-Leibler散度

D.对数似然损失

2.在知识蒸馏过程中，教师模型和学生模型的输出通常通过什么方法进行对齐？

A.最小二乘法

B.余弦相似度

C.最大似然估计

D.线性回归

3.知识蒸馏中，软标签通常比硬标签更能保留哪些信息？

A.类别边界信息

B.类别中心信息

C.类别不确定性信息

D.类别分布信息

4.以下哪种方法不属于知识蒸馏的常见技术？

A.聚合注意力机制

B.随机噪声注入

C.迁移学习

D.模型剪枝

5