大模型训练工程师考试试卷及答案.docVIP

大模型训练工程师考试试卷及答案

填空题（每题1分，共10分）

1.大模型训练中常用的自注意力机制出自________模型。

2.数据清洗中去除重复样本的目的是避免________。

3.Adam优化器结合了SGD和________算法的优点。

4.大模型参数规模通常用________作为单位（写出中文）。

5.预训练阶段模型主要通过________学习语言知识。

6.微调时常用的学习率策略是________。

7.模型并行中按层分割的方式称为________并行。

8.评估生成质量的指标BLEU全称是________。

9.防止梯度爆炸的常用方法是________。

10.大模型推理加速技术中，减少参数精度的方法是________。

填空题答案：

1.Transformer

2.过拟合

3.RMSProp

4.亿

5.自监督学习

6.余弦退火（或学习率衰减）

7.垂直

8.BilingualEvaluationUnderstudy

9.梯度裁剪

10.量化

单项选择题（每题2分，共20分）

1.以下哪种不是大模型预训练的常见任务？（）

A.掩码语言模型B.因果语言模型C.图像分类D.下一句预测

2.常用于大模型分布式训练的框架是？（）

A.FlaskB.PyTorchC.DjangoD.Vue

3.模型量化的主要目的是？（）

A.增加参数B.减少内存占用C.提高精度D.延长训练时间