AI大模型直播环境要求与资源指南.pdfVIP

1.环境要求

1.1操作系统

ChatGLM3-6B理论上可以在任何主流的操作系统中运行。ChatGLM开发组已经为主流操作系统做了一定

的适配。

但是，我们更推荐开发者在Linux环境下运行我们的代码，以下说明也主要针对Linux系统。

关于Windows和MacOS的问题欢迎在讨论区提出。

1.2

硬件环境

最低要求：

为了能够流畅运行Int4版本的ChatGLM3-6B，我们在这里给出了最低的配置要求：

内存：=8GB

显存:=5GB（10606GB,20606GB）

为了能够流畅运行FP16版本的，ChatGLM3-6B，我们在这里给出了最低的配置要求：

内存：=16GB

显存:=13GB（408016GB）

Mac开发者无需关注GPU的限制。对于搭载了AppleSilicon或者AMDGPU的Mac，可以使用MPS后

端来在GPU上运行ChatGLM3-6B。需要参考Apple的说明安装PyTorch-Nightly（正确的版本号

应该是2.x.x.dev2023xxxx，而不是2.x.x）。

如果使用CPU加载，可以忽