大模型推理性能优化工程师考试试卷及答案.docVIP

大模型推理性能优化工程师考试试卷及答案

一、填空题（每题1分，共10分）

1.大模型推理中，将FP32转换为FP16或INT8的技术称为______。

2.TensorRT是______公司开发的推理优化框架。

3.模型并行将大模型的不同层分布在不同______上执行。

4.动态批处理能提升推理______。

5.ONNX是______格式，用于模型跨框架部署。

6.稀疏性优化通过减少模型中______的数量提升推理速度。

7.大模型推理常用硬件加速卡除GPU外，还有______（举1例）。

8.算子融合将多个小算子合并，减少______开销。

9.量化感知训练（QAT）在训练时模拟______过程，提升量化精度。

10.大模型推理性能优化核心指标包括延迟和______。

二、单项选择题（每题2分，共20分）

1.以下哪种量化不改变模型结构？

A.动态量化B.静态量化C.QATD.所有都改变

2.TensorRT不支持的模型格式是？

A.ONNXB.TorchScriptC.SavedModelD.KerasH5

3.模型并行的主要目的是解决？

A.内存不足B.延迟过高C.吞吐量低D.精度不够

4.动态批处理适用场景是？

A.实时低延迟B.批量请求C.单设备D.小模型

5.针对推理优化最强的硬件是？

A.CPUB.GPUC.TPUD.普通FPGA

6.算子融合的核心优势是？

A.提