推理优化工程师培训课件照着流程就能开课.docxVIP

推理优化工程师培训课件

第PAGE1页共NUMPAGES1页

2026版推理优化工程师培训课件

解决「延迟高、显存爆、单位成本降不下来」：7个模块拆解真实工作流，含课时分配表·课堂练习·结业考核·讲师手册，企业内训与转岗自学都能直接开课

课程总说明

一、课程基本信息

项目

内容

课程名称

大模型推理优化实战：从基线测量到国产卡落地

课程定位

面向已具备深度学习基础的工程师，训练在效果不掉级前提下压延迟、提吞吐、省显存、降成本的完整作业能力

总课时

34课时（4.5天，含结业答辩）

授课形式

讲授40%+现场演示20%+动手实验30%+复盘研讨10%

班型

12～20人小班，每人或每两人独占一台GPU节点

前置要求

会Python与Linux；理解Transformer结构与注意力计算；能读懂PyTorch模型代码；有过一次模型部署经历

硬件要求

每2人至少1张≥24GB显存的GPU（A10/L20/4090均可）；讲师需1台8卡机或可远程的多卡节点；国产卡演示可用远程环境

考核方式

结业实操（60%）+闭卷笔试（20%）+方案答辩（20%）

结业标准

总分≥70分，且实操模块中量化+压测+回归三项均不得为0分

二、课程目标

学完本课程，学员能做到：

1.能独立测出一份可信的性能基线：给定模型与硬件，产出含TTFT、TPOT、P99、吞吐、显存峰值五项指