Mooncake 分离式推理架构创新与实践.pdf

Mooncake分离式推理架构

创新与实践

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

演讲人：何蔚然

目录

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

01大规模推理挑战02单点性能优化

03分离式架构04未来展望

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

01

大规模推理挑战

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

大规模推理挑战

优雅的集群过载

Kimi智能助手+开放平台每日贡献海量

请求，由多个负载特点不一的子业务系

统共同支撑

典型负载特点

当前，大模型技术正引领软件开发范式的革新，重塑生产关系。在此激变之中，QCon以“全面进化”作为2024年度主题，旨在携手创新技术引领者，面向5年以上工作经验的技术团队负责人、架构师、工程总监、产品负责人分享实践洞见与深度经验，并同步革新会议组织模式，以此催化企业实现从技术、产品到组织的全方位立体化的转型升级。

•偏向LongContext

•严格的SLO保证

•集群压力过载

为此设计了特殊的并行和调度策略

成本比2023年下降超20倍

大规模推理挑战

推理降本价值观

推理成本越来越低，模型智能越来越高

•不以牺牲智能为代价做降本