肖彬：大模型推理框架升级之路.docxVIP

大模型推理框架升级之路

肖彬

DataFunSummit#2024

我们将从四个优化专项介绍如何优化大模型推理框架性能量化

投机采样

TTFT与TPOT的优化通信优化

01

量化

量化作为大模型最重要的性能优化手段，能有效降低显存占用，降低访存量，充分利用计算资源以下是大模型计算流程：

Weight-int8+KV_cache_int8

最早上线的一个版本，显著降低显存占用，使得模型使用较少卡启动，增大服务承载能力，降低成本50%weight跟kvcache在推理框架占用显存为大头，优先优化能有效降低成本

Activationint8

A8是在w8/kv8基础上对gemm相关计算的输入激活进行量化，能有效降低gemm运算耗时，首token耗时下降50%，成本下降15%

Weight-int4+kv_cache-int4

Int4主要目标是将显存占用压至更低，能在低端卡型上部署并支持更长的序列，支持更大的batch，成本下降30%使用了类似quorat的技术，并结合marlin算子，针对性做了优化，已在多个业务落地，后续可能会有论文输出

Communicationint8

通信量化，降低低端卡通信耗时开销，首token耗时下降30%后续会有论文产出

AttentionQKVint8

将gemm计算全线转为int8计算

Q(int8)*