2026年大模型单元测试题及答案.docxVIP

2026年大模型单元测试题及答案

一、单项选择题（每题2分，共20分）

1.在Transformer架构中，用于捕捉序列中任意两个位置之间依赖关系的机制是

A.卷积核

B.循环门

C.自注意力

D.池化层

答案：C

解析：自注意力通过计算Query、Key、Value的缩放点积，直接建模任意位置间的依赖，无需逐步递归。

2.当模型参数量从7B扩展到70B时，若保持训练数据量不变，最可能出现的风险是

A.梯度消失

B.模式崩塌

C.过拟合

D.量化误差

答案：C

解析：参数量大幅增加而数据量不变，模型记忆训练样本的能力增强，泛化性能下降，表现为过拟合。

3.以下哪种位置编码方式可以天然外推到比训练时更长的序列

A.绝对正弦编码

B.可学习绝对编码

C.旋转位置编码（RoPE）

D.无位置编码

答案：C

解析：RoPE通过旋转矩阵将相对位置信息融入Attention，具备长度外推能力。

4.在大模型混合精度训练中，FP16表示的动态范围约为

A.1e-8到1e8

B.5.96e-8到65504

C.1e-38到1e38

D.0到1

答案：B

解析：IEEE754FP16的指数位宽5，尾数位宽10，动态范围约5.96e-8到65504。

5.当使用DeepSpeedZeRO-3时，下列哪一项被切分到所有GPU

A.激活值