开源大模型在亚马逊云科技上的部署和微调优化实践.pdfVIP

©2024,AmazonWebServices,Inc.或其附属公司。保留所有权利。

BOA402

开源大模型在亚马逊云科技上的

部署和微调优化实践

黄浩文

资深开发者布道师

亚马逊云科技

©2024,AmazonWebServices,Inc.或其附属公司。保留所有权利。

议程安排

1.大型语言模型（LLM）优化概述

•快速上手优化：AmazonBedrock和AmazonSageMakerJumpStart

•可用性优化：大型模型推理（LMI）容器

•吞吐量优化:RollingBatch/PagedAttention/FlashAttention/GQA

2.利用AmazonSageMaker部署开源大模型

•实践#1：在LMI中利用DeepSpeed部署Llama70B模型

3.利用AmazonSageMaker微调开源大模型

•实践#2：利用LoRA和FSDP微调Llama7B模型