大模型推理部署与性能优化面试题库300题.pdfVIP

大模型推理部署与性能优化面试题库300题

写在前面

这份题库是我在准备推理工程师、LLMInfra岗位面试时攒下来的。一开始我只是把vLLM、SGLang、

TensorRT-LLM这些东西的官方文档和牛客上的面经挨个翻一遍，边看边记，发现一个问题：网上的资

料要么是零散的博客，要么是官方文档那种照本宣科的写法，真到面试被追问FP8为什么A100跑不了

W8A8KV池满了怎么办时，脑子里还是一盘散沙。

所以我干脆按知识模块把这些考点重新梳理了一遍，每个模块挑25个最常被问到、也最值得深挖的问

题，自己组织答案。写答案的过程中我给自己定了几条规矩：不说XX是一种……这种定义腔；不堆首

先其次再次最后；每个答案尽量像我真在面试现场被问到、能自然说出口的样子；版本敏感的地方（比

如某功能要求哪一代GPU、默认block多大）都标清楚，不写最新版这种糊弄话。

这份资料适合谁：

在准备推理工程师、LLMInfra、大模型部署方向校招或社招的人；

已经会用vLLM起服务，但被追问原理和排错就发虚的工程同学；

想系统过一遍KVCache、量化、并