开源大模型在亚马逊云科技上的部署和微调优化实践.docxVIP

?

?2024,AmazonWebServices,Inc.或其附属公司。保留所有权利。

BOA402开源大模型在亚马逊云科技上的部署和微调优化实践黄浩文

BOA402

开源大模型在亚马逊云科技上的部署和微调优化实践

黄浩文

资深开发者布道师亚马逊云科技

?2024,AmazonWebServices,Inc.或其附属公司。保留所有权利。

议程安排1. 大型语言模型（LLM）优化概述快速上手优化：AmazonBedrock和AmazonSageMakerJumpStart可用性优化：大型模型推理（LMI

议程安排

1. 大型语言模型（LLM）优化概述

快速上手优化：AmazonBedrock和AmazonSageMakerJumpStart

可用性优化：大型模型推理（LMI）容器

吞吐量优化: RollingBatch/PagedAttention/FlashAttention/GQA

?

?

?

2. 利用AmazonSageMaker部署开源大模型

实践#1：在LMI中利用DeepSpeed部署Llama70B模型

?

3. 利用AmazonSageMaker微调开源大模型

实践#2：利用LoRA和FSDP微调Llama7B模型

?

?2024,Amazo