大模型推理优化工程师考试试卷及答案.docVIP

大模型推理优化工程师考试试卷及答案

填空题（共10题，每题1分）

1.将大模型参数从FP32转换为INT8的优化技术称为___。

2.ONNXRuntime是用于___的开源框架。

3.Transformer推理中，存储历史键值对以减少重复计算的技术是___。

4.模型并行中，按层分割模型的方式称为___并行。

5.动态批处理的核心是根据输入特征调整___大小。

6.TensorRT是由___公司开发的推理优化工具。

7.模型压缩的常见技术包括剪枝、量化和___。

8.推理性能的关键指标之一是单位时间内处理的样本数，即___。

9.计算图优化中，将多个算子合并为一个的操作称为___。

10.分布式推理中，将数据分割到多个设备并行处理的方式是___并行。

填空题答案：1.8位量化2.模型推理3.KV缓存4.流水线5.批次6.NVIDIA7.蒸馏8.吞吐量9.算子融合10.数据

单项选择题（共10题，每题2分）

1.以下哪种技术不属于模型压缩方法？

A.剪枝B.量化C.蒸馏D.数据增强

2.张量并行的主要目的是？

A.提升推理吞吐量B.解决单卡内存不足C.减少通信开销D.优化输入处理

3动态批处理相比静态批处理的优势是？

A.延迟更稳定B.适应输入长度变化C.内存占用更少D.计算速度更快

4.KV缓存的大小与以下哪个因素正相关？

A.模型层数B.输入序列长度C.批次大小D.硬件显存

5