大模型微调工程师考试试卷及答案.docVIP

大模型微调工程师考试试卷及答案

填空题

每题1分，共10分

1.大模型微调中，仅调整最后几层参数的方法称为______微调。

2.LoRA微调的核心是插入______矩阵减少可训练参数。

3.微调数据集预处理步骤包括清洗、去重和______。

4.评估模型性能的常用指标有困惑度、______和F1值。

5.全参数微调比局部微调需要更______的计算资源。

6.PEFT是______的缩写。

7.微调学习率通常比预训练时______。

8.指令微调旨在让模型理解用户的______。

9.防止过拟合的正则化方法有dropout和______。

10.大模型微调框架包括HuggingFaceTransformers和______。

填空题答案

1.局部2.低秩3.格式转换4.准确率

5.多6.Parameter-EfficientFine-Tuning7.小

8.自然语言指令9.权重衰减10.PyTorchLightning

单项选择题

每题2分，共20分

1.以下哪种微调方法参数效率最高？（）

A.LoRAB.全参数微调C.仅训练分类头D.Adapter

2.微调数据集质量不直接影响（）

A.泛化能力B.训练时间C.准确率D.预训练模型架构

3.关于LoRA的正确描述是（）

A.增加模型层数B.仅训练低秩矩阵C.替换预训练层D.无需初始化

4.指令微调常用数据格式是（）

A.纯文本B