2025年大模型注意力权重分析习题（含答案与解析）.docx

2025年大模型注意力权重分析习题（含答案与解析）

一、单选题（共15题）

1.以下哪种技术可以实现大模型在分布式训练环境中的高效并行计算？

A.模型并行策略

B.数据并行策略

C.稀疏激活网络设计

D.分布式存储系统

2.在参数高效微调中，LoRA与QLoRA的主要区别是什么？

A.LoRA使用固定比例的参数，QLoRA使用可学习的比例

B.LoRA适用于轻量级模型，QLoRA适用于大型模型

C.LoRA不需要额外的计算资源，QLoRA需要额外的计算资源

D.QLoRA的精度低于LoRA

3.以下哪项不是持续预训练策略的一部分？

A.长期监督学习

B.迁移学习