1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 人工智能

参考学习资料 AI人工智能 Break the Sequential Dependency of LLM Inference Using Lookahead Decoding.pdfVIP

  • 2
  • 0
  • 约10.85万字
  • 约 16页
  • 2026-08-19 发布于广西
  • 举报

参考学习资料 AI人工智能 Break the Sequential Dependency of LLM Inference Using Lookahead Decoding.pdf

    BreaktheSequentialDependencyofLLMInferenceUsing

    LOOKAHEADDECODING

    YichaoFu1PeterBailis2IonStoica3HaoZhang1

    AbstractGPUs).Giventhepressingneedforlowlatencyinvarious

    Autoregressivedecodingoflargelanguagemod-applications,improvingautoregressivedecodingremainsa

    4els(LLMs)ismemorybandwidthbounded,re-

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >