AI大模型直播环境要求与资源指南.pdfVIP

  • 1
  • 0
  • 约1.64千字
  • 约 2页
  • 2026-04-27 发布于北京
  • 举报

1.环境要求

1.1操作系统

ChatGLM3-6B理论上可以在任何主流的操作系统中运行。ChatGLM开发组已经为主流操作系统做了一定

的适配。

但是,我们更推荐开发者在Linux环境下运行我们的代码,以下说明也主要针对Linux系统。

关于Windows和MacOS的问题欢迎在讨论区提出。

1.2

硬件环境

最低要求:

为了能够流畅运行Int4版本的ChatGLM3-6B,我们在这里给出了最低的配置要求:

内存:=8GB

显存:=5GB(10606GB,20606GB)

为了能够流畅运行FP16版本的,ChatGLM3-6B,我们在这里给出了最低的配置要求:

内存:=16GB

显存:=13GB(408016GB)

Mac开发者无需关注GPU的限制。对于搭载了AppleSilicon或者AMDGPU的Mac,可以使用MPS后

端来在GPU上运行ChatGLM3-6B。需要参考Apple的说明安装PyTorch-Nightly(正确的版本号

应该是2.x.x.dev2023xxxx,而不是2.x.x)。

如果使用CPU加载,可以忽

文档评论(0)

1亿VIP精品文档

相关文档