计算机：华为系列深度之十八暨GenAI系列深度之四十九-算力新变局：训练范式、架构创新、工程优化.pdfVIP

行

业

及

产

计算机

业

2025年02月07日算力新变局：训练范式、架构创

行

业新、工程优化

研

/

究

行看好——华为系列深度之十八暨GenAI系列深度之四十九

业

深

度

相关研究

本期投资提示：

《Deepseek全解，从算法到算力——计

证算机行业周报20250204》⚫AI大模型训练范式正在转向多阶段，强化学习算力投入仍需提升。OpenAIo1后，黄

券2025/02/04仁勋提出三大ScalingLaw：预训练、后训练和推理阶段提升算力投入，都能够提升模

研《AI算力软件生态：难以突破吗？—华为

究系列深度之十五》2024/09/19型性能。DeepseekV3和R1模型爆火，后训练阶段的强化学习（Reinforcement

报Learning）以及推理阶段的长思考是核心特点，也再次佐证了后训练阶段、推理阶段的

告ScalingLaw。我们认为这两大ScalingLaw仍处于起步阶段，模型厂商将继续加码强

化学习，算力投入仍有增量空间。

证券分析师⚫模型架构创新，训推成本降低正在进行时。国内外厂商，均有多种创新。1）MoE混合

黄忠煌A0230519110001专家模型：降低训练过程激活参数量以减少计算量，已几乎成为标配；2）注意力机制

huangzh@

的改进：线性注意力机制、稀疏注意力机制，将计算复杂度从o(N^2)降低至o(N)，

洪依真A0230519060003

MQA、GQA、MLA等降低了KV-Cache，优化推理成本，后续注意力机制仍将改进。

hongyz@

李国盛A0230521080003

⚫Infra工程优化，模型性价比持续提升。模型架构的创新，给硬件通信和显存带来了压

ligs@

杨海晏A0230518070003力，infra优化至关重要，Deepseek是工程优化的代表。根据清华大学博士的测算，

yanghy@DeepSeekV3模型在H800算力集群上的算力使用效率MFU约为36.1%~39%，相

林起贤A0230519060002较半年前的DeepSeekV2提升了61%，为DeepSeek节省了近1200万元的成本。

linqx@根据Semianalysis，DeepseekV3的价格（MMLUcost/1MTokens）较GPT-4下

刘洋A0230513050006降了90倍以上，AI模型性价比持续提升。

liuyang2@

研究支持⚫开源+蒸馏趋势下AI模型智能平权开启，杰文斯悖论可能生效。“算法优化—成本下

曹峥A0230123040004降—渗透率提升—强化训推投入”闭环逻辑持续。算法和硬件架构优化带来的成本下

caozheng@降，会令模型厂商使用同等投入买到更多训练Flops，加速模型能力的更新以及应用加

联系人速渗透，从而带动推理算力需求的爆发。同时，deepseekV3、R1模型，以及1.5B

曹峥至70B的蒸馏模型均为开源，可部署在端侧，帮助端侧AI渗透。

(8621

caozheng@⚫宏观维度，海内外大厂加码