华福证券：算力专题研究二-从训练到推理-算力芯片需求的华丽转身.pdfVIP

华福证券电子

2024年08月24日

行

业

研

电子强于大市（维持评级）

究从训练到推理：算力芯片需求的华丽转身——算一年内行业相对大盘走势

力专题研究二

投资要点：

推理算力：算力芯片行业的第二重驱动力

我们在此前外发报告《如何测算文本大模型AI训练端算力需

求？》中，对未来三年AI训练卡需求持乐观态度。我们认为，推理侧

行

算力对训练侧算力需求的承接不意味着训练需求的趋缓，而是为算力团队成员

业芯片行业贡献第二重驱动力。当前推理算力市场已然兴起，24年AI分析师：陈海进(S0210524060003)

专推理需求成为焦点。据Wind转引英伟达FY24Q4业绩会纪要，公司chj30590@

题

分析师：徐巡(S0210524060004)

2024财年数据中心有40%的收入来自推理业务。如何量化推理算力需xx30511@

报求？与训练算力相比，推理侧是否具备更大的发展潜力？我们整理出联系人：李雅文(S0210124040076)

告AI推理侧算力供给需求公式，并分类讨论公式中的核心参数变化趋势，lyw30508@

以此给出我们的判断。相关报告

1、AMD宣布收购服务器供应商，英伟达强力加

ScalingLaws长文本趋势：推理需求的核心驱动力持“黑神话”游戏体验-算力周跟踪——2024.08.22

2、苹果领军AI端侧创新，消费电子长期量价上

根据OpenAI《ScalingLawsforNeuralLanguageModels》，并结合行空间打开——2024.08.21

3周报：关注折叠屏手机形态演进及

我们对于推理算力的理解，我们拆解出云端AI推理算力需求≈2×模新机发布——2024.08.19

型参数量×数据规模×峰值倍数。由ScalingLaws驱动的参数量爆发

是训练推理算力需求共同的影响因素；而对于推理需求，更为复杂的

是对数据规模的量化。我们将数据规模（tokens）拆解为一段时间内用

户对于大模型的访问量与单次访问产生的数据规模（tokens）的乘积，

其中，单次访问产生的数据规模（tokens）可以进一步拆解为单次提问

的问题与答案所包含的token数总和乘以单次访问提出的问题数。通过

华福证券

层层拆解，我们发现单次问答所包含的token数是模型中的重要影响因

素，其或多或少会受到大模型上下文窗口（ContextWindow）的限制。

而随着上下文窗口瓶颈的快速突破，长文本趋势成为主流，有望驱动

推理算力需求再上