1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 外语学习
  5. 英语阅读

Mooncake：面向长上下文的 KVCache 中心化推理优化方案.docx

Mooncake：面向长上下文的 KVCache 中心化推理优化方案.docx

    InfoQ极客传媒

    Mooncake:KVCache

    解耦架构下的大模型推理

    优化生态

    演讲人：马腾

    阿里云/高级技术专家、

    KVCache.Al成员

    AiCon

    全球人工智能开发与应用大会

    AiCon

    全球人工智能开发与应用大会

    大语言模型推理和kvcache

    02kvcache优化技术演进和发展

    02

    03以kvcache为中心的解耦架构

    03

    目录04kvcache开源项目：

    目录

    04

    05Mooncake开源贡献和影响力

    05

    Mooncake项目未来规划

    大语言模型推理和KVCache

    Info

    InfoQ极客传媒

    全球人工智能开发与应用大会

    Info

    In

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >