大模型本地部署与量化选型实操手册.docx

大模型本地部署与量化选型性能调优实操手册

（AI工具与办公技能·实测数据与操作步骤为据）

第一章本地部署前先算三笔账

要不要本地跑，先算三笔账再决定：显存够不够装、速度够不够用、质量掉多少。很多场景本地跑不动或跑得起但慢到没法用，盲目上机就是浪费。本地适合数据敏感、断网可用、长期高频调用摊薄成本的情形；偶尔用一用直接调接口更划算。显存、速度、质量三笔账缺一不可。

一台24GB显存的单卡能舒服跑量化后的7B参数模型；32B量化后约需18~22GB，24GB卡勉强；70B量化权重约需40GB以上，得双卡或多卡。参数越大质量越好但门槛越高，选型的艺术是在显存预算内挑到够用的最大模型。

表1-1模型规模与显存需求

模型规模

FP16显存

4bit量化显存

适用单卡

7B

约14GB

约4.5GB

16GB卡可跑

14B

约28GB

约8.5GB

12GB卡起步

32B

约64GB

约18GB

24GB卡勉强

70B

约140GB

约40GB

需多卡

表1-2三笔账达标对照

决策账

达标线

当前常见值

判定

装得下

量化≤显存40%

7B占26%

过

跑得快

≥15个词/秒

22个/秒

过

质量够

掉分≤5%

掉3%

过

划得来

摊薄接口

月省约900元

过

第二章量化工具与格式选型

本地跑主流走两条路：一条是量化权重加轻量推理引擎，加载快、CPU也能跑，适合个人与内网小机器；另