月之暗面-清华预填充即服务:下一代模型的键值缓存或将实现跨数据中心部署.pdfVIP

  • 0
  • 0
  • 约7.32万字
  • 约 16页
  • 2026-04-29 发布于北京
  • 举报

月之暗面-清华预填充即服务:下一代模型的键值缓存或将实现跨数据中心部署.pdf

Prefill-as-a-Service:KVCacheofNext-Generation

ModelsCouldGoCross-Datacenter

RuoyuQin1,2WeiranHe1YaoyuWang1ZhemingLi1XinranXu1

YongweiWu2WeiminZheng2MingxingZhang2∗

1MoonshotAI2TsinghuaUniversity

6

2

0

2Abstract

r

pPrefill-decode(PD)

文档评论(0)

1亿VIP精品文档

相关文档