Mooncake:面向长上下文的 KVCache 中心化推理优化方案.pptx

Mooncake:面向长上下文的 KVCache 中心化推理优化方案.pptx

演讲人:马腾

硬件–Huang’sLawTakeOver

以NVIDIA为代表的GPU厂商通过提供高并发的稠密张量计算替代传统

CPU厂商成为算力的主要提供商,从而进一步延续FLOPSperWatt的增速

数据–BigDataisEverywhere

数字化进程的推进使得

采集和积累的数据前所

未有的增多

内部所有的算子均为

GEMM或BMM,最大化计算强度和并行度

随着人工智能的发展,

越来越多的软件基于AI技术进行改造

智能–AIBecomeEverywhereToo

算法-Transformerisallweneed?

文档评论(0)

1亿VIP精品文档

相关文档