电子行业算力专题研究二：从训练到推理，算力芯片需求的华丽转身.docxVIP

正文目录

如何测算文本大模型AI推理端算力需求？ 3

ScalingLaws长文本趋势：推理需求的核心驱动力 4

关于模型参数量：ScalingLaws仍为核心 4

关于数据规模（tokens）：长文本趋势已确立 5

文本大模型云端AI推理对GPU的需求量如何求解？ 8

风险提示 10

图表目录

图表1：英伟达FY2024数据中心推理与训练占比 3

图表2：中国人工智能服务器负载及预测 3

图表3：文本大模型云端AI推理算力供给需求公式 3

图表4：云端AI推理需求公式拆解 4

图表5：大模型训练的ScalingLaw 4

图表6：海外主流AI大模型训练侧算力供给需求情况 5

图表7：国内主流AI大模型训练侧算力供给需求情况 5

图表8：云端AI推理需求公式进一步拆解 5

图表9：文本大模型网站访问量周度数据（单位：万次） 6

图表10：文本大模型网站访问量周度数据（单位：万次） 6

图表11：图片大模型网站访问量周度数据（单位：万次） 6

图表12：视频大模型网站访问量周度数据（单位：万次） 6

图表13：OpenAIPlatformTokenizer 7

图表14：OpenAI云端AI推理算力需求-供给测算 9

如何测算文本大模型AI推理端算力需求？

我们在此前外发报告《如何测算文本大模型AI训练端算力需求？》中，对未来三年AI训练卡需求持乐观态度，经过测算，以英伟达Hopper/Blackwell/下一代GPU卡FP16算力衡量，我们认为2024-2026年全球文本大模型AI训练侧GPU需求量为271/592/1244万张。由此我们认为，推理侧算力对训练侧算力需求的承接不意味着训练需求的趋缓，而是为算力芯片行业贡献第二重驱动力。

推理算力市场已然兴起，24年AI推理需求成为焦点。据转引英伟达FY24Q4业绩会纪要，公司2024财年数据中心有40%的收入来自推理业务。放眼国内，IDC数据显示，我国23H1训练工作负载的服务器占比达到49.4%，预计全年的占比将达到58.7%。随着训练模型的完善与成熟，模型和应用产品逐步投入生产，推理端的人工智能服务器占比将随之攀升，预计到2027年，用于推理的工作负载将达到72.6%。

图表1：英伟达FY2024数据中心推理与训练占比 图表2：中国人工智能服务器负载及预测

来源：英伟达财报电话会议纪要，，

注：按销售收入口径

来源：IDC，《2023-2024中国人工智能计算力发展评估报告》，华福证券

研究所

如何量化推理算力需求？与训练算力相比，推理侧是否具备更大的发展潜力？我们出AI推理侧算力供给需求公式，并分类讨论公式中的核心参数变化趋势，以此给出我们的判断。需要说明的是，本文将视角聚焦于云端AI推理算力，端侧AI算力主要由本地设备自带的算力芯片承载。基于初步分析，我们认为核心需要解决的问题聚焦于需求侧——推理消耗的数据规模如何测算？而供给侧，GPU性能提升速度、算力利用率等，我们认为与AI训练大致无异。

图表3：文本大模型云端AI推理算力供给需求公式

来源：OpenAI《ScalingLawsforNeuralLanguageModels》，NVIDIAStanfordUniversityMicrosoftResearch《EfficientLarge-ScaleLanguageModelTrainingonGPUClustersUsingMegatron-LM》，新智元，CIBA新经济，思瀚产业研究院，极市平台，

ScalingLaws长文本趋势：推理需求的核心驱动力

根据OpenAI《ScalingLawsforNeuralLanguageModels》，并结合我们对于推理算力的理解，我们拆解出云端AI推理算力需求≈2×模型参数量×数据规模×峰值倍数。

图表4：云端AI推理需求公式拆解

来源：OpenAI《ScalingLawsforNeuralLanguageModels》，思瀚产业研究院，极市平台，

关于模型参数量：ScalingLaws仍为核心

我们在此前外发报告《如何测算文本大模型AI训练端算力需求？》中已详细介绍过ScalingLaw的基本原理及其对大模型参数量的影响，主要观点为：模型的最终性能主要与计算量、模型参数量和数据大小三者相关，而与模型的具体结构（层数/深度/宽度）基本无关。如下图所示，对于计算量、模型参数