1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 计算机
  5. Java

使用AmazonSageMaker将基础模型的推理能力扩展到数百个模型上.pdfVIP

  • 0
  • 0
  • 约1.7万字
  • 约 28页
  • 2026-03-25 发布于浙江
  • 举报

使用AmazonSageMaker将基础模型的推理能力扩展到数百个模型上.pdf

    使用AmazonSageMaker将基础模型

    的推理能力扩展到数百个模型上

    DhawalPatel蓝雨川

    机器学习首席架构师API平台负责人

    亚马逊云科技零一万物

    ©2024,AmazonWebServices,Inc.或其附属公司。保留所有权利。

    基础模型(FM)

    一个模型远远不够！

    ©2024,AmazonWebServices,Inc.或其附属公司。保留所有权利。

    托管基础模型以大规模运行推理：挑战

    内存占用大

    数千亿模型参数往往会超出单个加速器芯片的内存限制

    扩展到数百个基础模型Transformers模型很慢！

    数百个端点的管理、加速器的分配、

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >