肖彬：大模型推理框架升级之路.pptxVIP

大模型推理框架升级之路

肖彬;

我们将从四个优化专项介绍如何优化大模型推理框架性能

量化

投机采样

TTFT与TPOT的优化

通信优化;

量化作为大模型最重要的性能优化手段，能有效降低显存占用，降低访存量，充分利用计算资源以下是大模型计算流程：;

最早上线的一个版本，显著降低显存占用，使得模型使用较少卡启动，增大服务承载能力，降低成本50%

weight跟kvcache在推理框架占用显存为大头，优先优化能有效降低成本;

A8是在w8/kv8基础上对gemm相关计算的输入激活进行量化，能有效降低gemm运算耗时，首token耗时下降50%，成本下降15%;

Int4主要目标是将显存占用压至更低，能在低端卡型上部署并支持更长的序列，支持更大的batch，成本下降30%

使用了类似quorat的技术，并结合marlin算子，针对性做了优化，已在多个业务落地，后续可能会有论文输出

Communicationint8

通信量化，降低低端卡通信耗时开销，首token耗时下降30%

后续会有论文产出

AttentionQKVint8

将gemm计算全线转为int8计算

Q(int8)*K(int8)-softmax-V(int8)

目前处于开发中;

投机采样就是利用decode过程算力冗余

使用额外的技术生成多个候选token同时输送给大模型并行验证，充分使用算力且不会增加额外太多的时延;

Clover模型结构设计路线/abs/2405.00263;

动态构建候选token树，较为激进的贪心搜索策略

核心策略：

1.单token级别(保证树深度)

1.prob先进行topp丢弃

2.按照top1/4长尾小概率丢弃2.tokentree级别(子节点排序依据)

1.从根节点的联合概率排序

3.每层token预算数量(保证树最大宽度，防止计算量激增)1.去除所有父节点token数;

命中率上提升50%+，端到端推理速度提升30%+;

Clover2模型结构升级/abs/2408.00264

1.loss优化

仅仅根据CrossEntropyLoss预测token偏序关系，训练多轮，过拟合会出现对一些高频token增强概率的情况

增加数据蒸馏loss使得clover能更加关注与主模型的一致性上，而不是走捷径;

AugmentingBlock位于第一个head之前只会跑一次，增加层数不会导致跑多次的问题，eagle增加层就会导致每个head都多跑，耗时会暴增

这为clover提供更多可能，可以设计更加复杂的AugmentingBlock，我们尝试最简单的加层获取收益;

clover为rnn为主的架构，但仍然能打败eagle这种以decodelayer为主的模型结构在各个数据集上都超过eagle;

03

TTFTTPOT优化;

chunkprefill是将单次prefill计算拆分为多段计算的技术，能有效降低decode间隔时间;

Splitfused技术

将chunkprefill与decode计算整合

有效提升计算利用率;

Chunkprefill

算子差异明显

tensorcoreattention需要读取kvcache

第一个版本

访存-反量化-计算pipeline

并不能很好掩盖

并且qk会切块计算，每块都需要反量化，反量化次数剧增为解决这个问题，

我们还是采用了外部反量化后再计算的策略

最终收益

decodetoken间隔p99下降在各个业务都非常明显;

解决TTFT与TPOT的平衡，PD分离是终极方案;

较短的输入仍然采用split-fused的混合推理方案，长请求会单独扔给prefill节点完成，长请求来的时间不一定此时需要PD动态调度策略;

Cache策略

Sessioncache

缓存多轮请求kvcache结果

多级动态lru排除老数据

对于第二轮的请求首token延迟提升巨大同时也支持sys_promptcache功能

很早的一个版本就支持了该功能

后来出了全局前缀树cache，当时评估收益不大最近的gpto1提出后，MCTS相关算法需求强烈最近会上线一个版本;

04

通信

优化;

计算通信overlap/abs/2409.11155

常见方法：

gemmoverlap:

许多场景通信耗时会长于gemm计算，导致不能很好overlap

reqoverlap:

需要组批两个请求，还需要两个请求间尽量计算量均衡

我们的设计：ISO

sequence内的overlap方法;

计算通信overlap

计算通信占比越均衡收益越大，最终收益上