大模型算法工程师岗位算法考试试卷及答案.docVIP

大模型算法工程师岗位算法考试试卷及答案

大模型算法工程师岗位算法考试试卷及答案

一、填空题（共10题，每题1分）

1.Transformer模型的基本组成部分包括______和______。

2.自注意力机制中，计算注意力权重的三个关键向量是______、______、______。

3.大模型预训练常用的无监督任务之一是______（例如BERT的任务）。

4.将文本转换为模型可处理的序列的过程称为______。

5.Transformer中用于解决序列顺序问题的技术是______。

6.针对大模型的参数高效微调方法中，______通过低秩矩阵近似来减少可训练参数。

7.RLHF（强化学习人类反馈）的三个主要步骤是______、______、______。

8.GPT系列模型采用的是______结构（编码器/解码器/仅解码器）。

9.Prompt工程中，提供少量示例帮助模型完成任务的方法称为______。

10.大模型推理时，减少计算量的常用技术之一是______（例如量化）。

二、单项选择题（共10题，每题2分）

1.以下哪种注意力机制是Transformer默认使用的？（）

A.多头注意力B.单头注意力C.自注意力D.交叉注意力

2.BERT模型预训练时使用的两个任务是MLM和（）？

A.因果语言模型B.下一句预测（NSP）C.句子对分类D.命名实体识别

3.LoRA技术主要