2026年大模型单元测试题及答案.docxVIP

2026年大模型单元测试题及答案

一、单项选择题（每题2分，共20分）

1.在Transformer架构中，以下哪一项最能解释“自注意力”机制对长序列建模的优势？

A.通过卷积核共享降低参数量

B.通过位置编码替代循环结构

C.任意位置间的依赖路径长度恒为O(1)

D.使用层归一化替代批归一化

2.当使用混合精度训练（FP16+FP32）时，下列哪项操作最可能导致梯度下溢？

A.在FP16下计算softmax

B.在FP32下更新主权重

C.对FP16梯度进行梯度裁剪

D.使用动态损失缩放（lossscaling）

3.在MoE（MixtureofExperts）结构中，若Top-2门控网络始终选中相同的两个专家，则以下哪项最可能发生？

A.专家负载极度不均衡，模型退化为稠密模型

B.训练速度提升，因专家间并行度最高

C.模型容量下降，但泛化误差降低

D.门控网络梯度消失，专家无法更新

4.对于参数量同为100B的稠密模型与MoE模型，若MoE的Top-2激活参数量为10B，则下列说法正确的是：

A.推理时两者显存占用相同

B.训练时MoE的通信量一定更小

C.推理时MoE的延迟一定更高

D.训练时MoE的激活显存占用约为稠密模型的1/10

5.在RLHF阶段，若奖励模型对“有害”与“无害”样本的预测间隔（margin）分布出现严重重叠，则PP