原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
大模型训练及硬件配置，数据
采集及数据训练,智算中心建设
2O25
01
AI大模型训练及硬件配置
大模型的三大核心参数详解（1）
1.参数规模（B）：模型的“脑容量”2.浮点数精度（FP）：模型的“思考精度”
基本概念：模型参数数量相当于人类的大脑容量，参数越多模型越强，基本概念：浮点数精度指模型计算时的数值精度，精度越高计
但对显存要求也越高。B是billion的缩写，1B=10亿参数。算结果越准确，但需要更多计算资源，推理速度也会变慢。主
要适用于模型训练过程，训练完成后精度固定不变。
常见参数规模：
常见浮点数规格：
•LLaMA系列：1B、3B、8B、70B、405B
•通义千问：0.5B、1.5B、3B、7B、14B、32B、72B
精度类型字节/参数适用场景备注
•DeepSeekR1：1.5B、7B、8B、14B、32B、70B及全量版671B
FP324字节模型训练最高精度
模型规模等级：FP162字节推理部署平衡选择
•轻量级(1-7B)：适合个人电脑BF162字节训练加速专为AI优化
•中量级(14-32B)：需要高性能显卡FP81字节边缘设备最大压缩
•重量级(70B+)：需专业服务器
大模型的三大核心参数详解（2）
3.量化参数（Q）：模型的“瘦身术”
基本概念：量化是对模型权重和激活值进行的数值压缩，能大幅减小模型体积和显存需求，
但会轻微牺牲模型精度。类似于将无损高清图片转换为高清JPG格式。
量化原理：将高精度数值映射到低精度表示；
常见量化方案对比：
•Int88位整数量化，每个参数占1字节，精准度保留95%+，显存减半
•Int44位整数量化（最常用），每个参数占0.5字节，精准度保留90%左右，显存降为1/8
•int2/int1极端压缩方案，仅适合特殊场景
重要说明：量化过程与原始精度无关，无论是FP32还是FP16，经过相同比特量化后，每个
参数占用的空间相同。
如何计算模型大小和所需显存
1.计算原始模型大小
公式：原始模型大小=参数数量×每个参数的字节数
示例1：1B参数的FP32模型
•10亿×4字节=40亿字节=4GB
示例2：14B参数的FP32模型
•140亿×4字节=560亿字节=56GB
2.计算运行所需显存
GPU不仅需要存储模型参数，还需要额外空间存储中间结果等。额外开销通常占模型大小的
20%-50%（保守按20%计算）。
公式：所需显存=原始模型大小×1.2
示例1：1B参数的FP32模型
•4GB×1.2=4.8GB≈5GB显存
示例2：14B参数的FP32模型
•56GB×1.2=67.2GB显存
显然，67GB显存对家用电脑来说过高，这时就需要引入【量化技术】。
如何计算模型大小和所需显存
文档评论（0）