Mooncake分离式推理架构创新与实践.docx

Mooncake分离式推理架构

创新与实践

演讲人：何蔚然

目录

01大规模推理挑战

01大规模推理挑战

02单点性能优化

04

04未来展望

03分离式架构

大规模推理挑战

大规模推理挑战

优雅的集群过载Kimi智能助手+开放平台每日贡献海量

优雅的集群过载

Kimi智能助手+开放平台每日贡献海量请求，由多个负载特点不一的子业务系统共同支撑

典型负载特点

?偏向LongContext

?严格的SLO保证

?集群压力过载

为此设计了特殊的并行和调度策略

成本比2023年下降超20倍

大规模推理挑战

推理降本价值观

推理降本价值观

推理成本越来越低，模型智能越来越高

?不以牺牲智能为代价做降本

更低的推理成本=更省的模型结构+更便宜的硬件

?更便宜的LongContext=更快的Attention计算+更小的KVCache

?更便宜的Generation=更大的BatchSize+更Decode友好的并行方式

实际应用成本：长文Prefill很关键，总体看Generation成本才是大头

大规模推理挑战

自动运维与故障定位推理实例

自动运维与故障定位

推理实例快速拉起及动态切换硬件巡检-节点隔离

潮汐资源

?长时、离线任务

?轻量训练任务

FullAttention耗时过长，Llama31M可能需要数十分钟多轮对话重复计算KV浪费大量GPUHours

长文本DecodeIO压力显著高，成为成本大头KVCache占用大量显存，影响BatchSize上限

Prefill峰值显存高，单点DecodeBatchSize进一步下降BatchSize偏小导致Matmul性能低下

单点性能优化

单点性能优化

混合并行策略

混合并行策略

?TensorParallelism：广泛使用的算力并行方案，通信代价高

?PipelineParallelism：适用于离线/长时大批量处理场景

?ExpertParallelism：不同负载选择不同的专家并行方向

?ContextParallelism(Ring/AllToAll)：高效分摊长文本算力需求

?ChunkedPipelineParallelism：超长文推理完美掩盖计算通信

?DataParallelism(notLB)：单卡完整计算单组请求减少通信代价

多种并行方式可以共享同一个CommGroup

单点性能优化

长上下文推理优化

长上下文推理优化

?MoonshotSparseAttention：无损长文压缩降低TTFT，降低KVCache大小

?CacheBlend：基于RAG的预计算，大幅减少Attention时间

?DynamicMoE：简单Token激活少量参数，提升BatchSize上限

?SpeculativeDecoding：共享KVCacheExpertIO，高效生成EasyTokens

?CascadeAttention：长上文短对话多任务共享KVCacheIO

?Fine-GrainedCUDAGraph：显存与Kernel并行的TradeOff

分离式架构

Mooncake推理系统

系统收益TTFT10x，TBT

系统收益

TTFT10x，TBT5x，RPM1.7~5x

CacheMiss10%，BatchSize2x+

充分挖掘硬件资源

?机间RDMA通信带宽

?RAM容量和带宽

?SSD/OSS多级缓存

设计场景

设计场景

Prefill满足SLO最大化MFU，追求算力/￥

Decode满足SLO逼近Roofline，追求带宽/￥显卡定价有错位，带来套利空间

最大化吞吐=SLO+LongContext限制下的过载

?TTFT保持较低水位

?TBT稳定快于阅读速度

有效场景：多轮对话、热点事件、SystemPrompt

分离式架构Mooncake

系统架构设计

PD负载特点不同

?异构推理显卡

?并行策略不同，实现异构KVCache

机间RDMA通信带宽+LocalRAM容量

?机间传输KVCache，突破LocalPrefixCache

SSD/OSS多级存储空间

?长上下文省时延，SSDvsPCIE/RDMA

?OS