1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. Java

模型部署架构与环境：硬件及显存计算.pdf

模型部署架构与环境：硬件及显存计算.pdf

    1.硬件规划与显存计算

    硬件规划与显存计算

    •部署目标与约束

    •模型大小（参数量、精度）

    •上下文长度（ContextLength）

    •并发请求数（BatchSize）

    •推理延迟目标（LatencyTarget）

    •显存计算公式

    •总显存=模型权重+KV缓存+运行开销

    •权重显存：=参数量×每参数字节/10243

    •KV缓存：=2××××××Bytes/10243

    •运行开销：CUDA缓存+临时张量

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >