大模型部署工程师考试试卷及答案.docVIP

大模型部署工程师考试试卷及答案

大模型部署工程师考试试卷及答案

一、填空题（共10题，每题1分）

1.大模型部署中常用的推理优化框架之一是______。

2.ONNX是一种跨框架的______格式。

3.模型压缩技术中，减少参数数量的方法是______。

4.轻量级大模型推理API框架常用的有______。

5.GPU加速推理的核心计算单位是______。

6.将模型层分布到不同设备的并行方式是______并行。

7.混合精度推理中常用的低精度格式是______。

8.评估推理性能的关键指标之一是______。

9.容器化部署大模型的工具是______。

10.推理服务常用的API协议是______。

答案：1.TensorRT2.模型3.剪枝4.FastAPI5.CUDA核心6.张量7.FP168.延迟9.Docker10.RESTful

二、单项选择题（共10题，每题2分）

1.以下哪项是大模型推理加速工具？（）

A.PyTorchB.TensorRTC.NumPyD.Pandas

2.跨框架模型转换的中间格式是？（）

A.ONNXB.PTC.CKPTD.H5

3.适合快速构建推理API的框架是？（）

A.FlaskB.DjangoC.FastAPID.SpringBoot

4.不常用于推理加速的硬件是？（）

A.GPUB.CPUC.TPUD.HDD

5.FP32转INT8属于