2025年大模型推理缓存优化含答案与解析.docx

2025年大模型推理缓存优化(含答案与解析)

一、单项选择题

1.大模型推理缓存优化的主要目标是（）

A.提高模型的训练速度

B.减少模型的存储成本

C.降低推理延迟，提高推理效率

D.增强模型的泛化能力

答案：C

解析：大模型推理缓存优化主要是针对推理阶段，其核心目标是降低推理延迟，提高推理效率。模型训练速度的提高主要涉及训练算法、硬件等方面，与缓存优化关系不大，故A选项错误；减少模型存储成本通常通过模型压缩等技术实现，并非缓存优化的主要目标，B选项错误；增强模型泛化能力主要依靠数据处理、模型结构设计等，和缓存优化无关，D选项错误。

2.以下哪种缓存策略适用于大模型推理中输入数