2026年AICon全球人工智能开发与应用大会-7.AIConOmniCache以内存为中心的KV管理与加速.pdf

2026年AICon全球人工智能开发与应用大会-7.AIConOmniCache以内存为中心的KV管理与加速.pdf

OmniCache:以内存为中心的KV管理与推理加速

演讲人:KenZhang

华为/高级技术专家

挑战:HBM成为推理瓶颈

01

从KV存算分离到以内存为中心

02

KV传输掩盖与Ker

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档