大模型显存需求与优化策略.pdfVIP

大模型(LLMs)显存问题面

来自:

AiGC面试宝典

1.

大模型的规模大约有多大，模型文件体积有多大？

通常发布的模型文件采用fp16格式，假设为nB规模的模型，则模型文件占2nG空间，加载到显存进行推理时同样

占用2nG。对外宣传参数规模一般为10n亿。

2.

能否用4

*

v100

32G训练vicuna

65b

不能。

•首先，l

65b的模型权重需要5张32G显存的V100显卡才能完整加载到GPU显存中。

•其次，vicuna采用flash‑attention加速训练，目前暂不支持v100显卡，需使用图灵

_

架构的显卡。（刚发现通过fastchat调用train而非trainmem也能训练vicuna）

3.

如果就想尝试65b模型但显存不足？

最低需要约50G显存，可在l‑65b‑int4(gptq)模型基础上进行LoRA[6]微调，但需安装各库的定制版本。

4.

nB模型推理需要多少显存？

假设模型参数均为fp16格式，加载模型需要2nG显存。

5.

nB模型训练需要多少显存？

基础显存：模型参数+

+

梯度+