Llama3大模型本地部署与调用指南.pdfVIP

课程内容

1.硬件配置分析

2.L3模型介绍

3.ModelScope平台部署L3

L3介绍

•L3是Meta于开源的LLM，目前开放了8B和

70B两个版本，两个版本均支持最大为8192个token的序列长度

(GPT-4支持128K)

•L3在Meta的两个24KGPU集群上进行预训练，使用15T

的训练数据，其中5%为非英文数据，故L3的中文能力稍弱，

Meta认为L3是目前最强的开源大模型。

部署准备（硬件）

•在本地对8B版本的L3进行部署测试，最低硬件配置为

•1.**CPU**：IntelCorei7或AMD等价（至少4个）

•2.**GPU**：NVIDIAGeForceGTX1060或AMDRadeonRX580

（至少