1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. 软件工程

高效且高度可配置的大模型推理引擎与服务-史树明.pdfVIP

  • 0
  • 0
  • 约2.53万字
  • 约 36页
  • 2026-07-08 发布于广东
  • 举报

高效且高度可配置的大模型推理引擎与服务-史树明.pdf

    高效且高度可配置的

    大模型推理引擎与服务

    史树明

    腾讯AILab

    2023/12/29

    Transformer推理

    https://jalammar.github.io/illustrated-transformer/

    大模型推理引擎：关键需求及核心技术

    推理速度

    吞吐率

    结果质量

    显存/内存占用

    易用性/

    多模型支持

    大模型推理引擎：关键需求及核心技术

    高效张量运算Flashdecoding

    推理速度

    算子融合推测解码(speculativedecoding)

    CP

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >