2025年大模型推理延迟（含答案与解析）.docx

2025年大模型推理延迟（含答案与解析）

一、单选题（共15题）

1.以下哪种技术在大模型推理中能够有效减少延迟并保持较高准确率？

A.INT8量化

B.知识蒸馏

C.模型剪枝

D.模型并行

答案：B

解析：知识蒸馏技术通过将大模型的知识迁移到小模型中，能够显著降低推理延迟同时保持高准确率。参考《知识蒸馏技术详解》2025年版第3.2节。

2.在分布式训练框架中，以下哪种策略可以降低大模型推理延迟？

A.批处理大小调整

B.数据加载并行

C.通信协议优化

D.内存管理优化

答案：B

解析：数据加载并行策略通过并行处理数据加载阶段，可以有效减少模型推理延迟。详见《