大模型推理优化辅助技师考试试卷及答案.docVIP

大模型推理优化辅助技师考试试卷及答案

填空题（共10题，每题1分）

1.大模型推理中常用的8位量化技术缩写是______。

2.KV缓存主要用于减少______的重复计算。

3.Triton编译优化工具的核心是______编程。

4.模型并行是将大模型层分配到______上。

5.结构化剪枝中，按______剪枝不影响硬件加速。

6.动态稀疏化的优势是______。

7.常用推理加速卡除NVIDIAA100外，还有______。

8.ONNXRuntime的全称是______。

9.FP16的数值范围近似为______。

10.动态批处理的核心是______请求以提高吞吐量。

答案：

1.INT8；2.自注意力层；3.GPU内核；4.多设备（GPU/TPU）；5.通道/头；6.Flexible适配不同输入；7.H100（或AMDMI250）；8.OpenNeuralNetworkExchangeRuntime；9.-65536至65535；10.合并批量处理

单项选择题（共10题，每题2分）

1.推理速度与精度平衡最优的量化精度是？

A.FP32B.FP16C.INT8D.INT4

2.KV缓存优化的核心组件是？

A.嵌入层B.注意力层C.全连接层D.输出层

3.不属于推理编译优化的工具是？

A.TensorRTB.ONNXRuntimeC.PyTorchJITD.Git

4.数据