Llama3大模型本地部署与调用指南.pdfVIP

L3大模型本地部署与调用

目录

1.硬件配置分析

2.L3模型介绍

3.ModelScope平台部署L3

4.在自己电脑上部署调用L3

1.硬件配置分析

在本地对8B版本的L3进行部署测试，最低硬件配置为

1.CPU：IntelCorei7或AMD等价（至少4个）

2.GPU：NVIDIAGeForceGTX1060或AMDRadeonRX580（至少6GBVRAM）

3.内存：至少16GB的RAM

4.操作系统：Ubuntu20.04或更高版本，或者Windows10或更高版本

L3的部署环境对各个包的版本需求有些严格，需要注意，否则会报各种错误，环境列表附在

最后(去最上面的里找也可，我环境里可能有单纯部署之外用不到的包)，其中最需要注意的

是transformers的版本，需要大于4.39.0(我用的4.40.1)，

因为L3比较新，老版本的transformers里没有L3的模型和分词器，另外就是p