1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 金融/投资/证券
  5. 股票技术指标学习

xLLM 的投机推理架构设计 梁志伟 .pdfVIP

  • 6
  • 0
  • 约3.44万字
  • 约 35页
  • 2026-07-03 发布于山东
  • 举报

xLLM 的投机推理架构设计 梁志伟 .pdf

    xLLM的投机推理架构设计

    演讲人：梁志伟

    京东/算法工程师

    01投机推理加速原理

    从自回归瓶颈到draft/verify/rejectionsampling，解释为什么能加速

    且保持分布正确性。

    02投机推理技术演进

    对比无模型、EAGLE/MTP/DFlash等候选生成路径和系统代价。

    03xLLM投机推理架构设计

    展开runtime、worker-localloop、模型适配、KVcache正确性与分布

    目录式执行。

    04投机推理未来展望

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >