昇腾推理技术的优化实践.pdfVIP

昇腾推理技术的优化实践

演讲人：张君

01大模型推理的现状及挑战

02昇腾硬件亲和的FA融合算子性能优化实践

03基于AscendC的MC²通算融合算子性能优化

目录04总结与展望

01

大模型推理的现状以及挑战

现状1：模型规模增大及自回归解码带来访存及算力利用率压力

Prefill阶段Decode阶段

每token串行

…×N…×N…×N…×N…×N…×N迭代多步…×N…×N

02

•不同请求输入长度不同batch×seq小EOS•不同用户请求输出长度不同

•batch×seq大EOS•迭代步数多的请求时延长

…×N缓存…×N

EOS

时延决定用户体验，吞吐衡量系统成本

模型规模大，内存容量和访存是瓶颈自回归算力利用率低，低时延高吞吐难以兼顾

内存容量不足导致单卡无法推理Prefill和Decode两阶段推理差异大，难以充分利用算力资源

•模型参数：百亿/千亿模型参数超过单卡内存容量•基于request的调度导致大量算力空闲：同batch序列长度差异大

•KVCache：随着batchsize和序列长度增长，占用更多内存；•不同阶段的请求难以batch：prefill/decode输入、kvcache维度差

别大

访存带宽制约50ms/token推理时延达成Decode阶段每token串行解码算力利用率低

•多路并发缓和带宽压力，提升吞吐但增加时延•串行解码以GEMV为主，计算访存比低

•随着序列增长，KVCache访存成为瓶颈，推理时延成倍增长•KVCache访存量随序列长度增长，Attention占比增加

现状2：KVCache导致内存墙”瓶颈进一步加剧

不采用KVCache，全量计算硬推，计算量采用KVCache，推理内存开销数线性增长，

随序列长度增加指数级增涨形成“内存墙”和”带宽墙”