中国推理算力市场追踪报告，2025H1.docxVIP

中国推理算力

市场追踪报告，2025年H1

2025年8月

关键发现

n算力需求重心从训练转向推理，算力基础设施持续扩展与升级

01AI算力消耗已从集中式训练转向大规模推理，带来前所未有的增量需求。2025年被认为是算力爆发的元年，推理算力的需求将迎来井喷式增长。推理算力的需求将在未来几年内远超训练算力。

01

n2025年H1中国推理算力服务市场中，天翼云以【21.4%】的市场份额领先

02中国日均Tokens消耗量从2024年初的1000亿增长到截至今年6月底，日均Token消耗量突破30万亿，1年半时间增长了300多倍，这反映了中国人工智能应用规模快速增长。天翼云息壤一体化智算服务平台率先完成国产算力与DeepSeek-R1/V3系列大模型的深度适配优化，成为国内首家实现DeepSeek模型全栈国产化推理服务落地的运营商级云平台。

02

03n未来推理算力长序列与超大模型推理优化成为关键，国产软硬件协同与生态成熟推动推理普及

03

中国算力正朝着“训推一体”融合架构快速发展，以支撑大规模模型与多模态应用的高效低延迟推理。国产AI芯片与推理框架不断优化，结合模型压缩、量化、动态推理等技术，进一步提升能效比和部署灵活性。

3

3

沙利文市场研读|2025/08

研究框架

u

u中国推理算力市场综述

?关键发现

?中国推理算力定义及服务覆盖范围

?算力需求重心从训练转向推理

?中国推理算力市场规模分析

?中国推理算力竞争格局分析

?中国推理算力核心技术分析

?中国推理算力相关政策分析

?中国推理算力发展趋势分析

?中国推理算力未来挑战分析

2

4LeadLe4

4

LeadLe

4

沙利文

市场研读2025/08中国：云服务系列

中国推理算力：定义与服务覆盖范围

关键发现

推理算力主要负责AI模型的推理任务，主要用于处理和执行已经训练好的模型进行实际应用。这包括执行推理任务、处理实时数据和提供预测结果。推理过程通常对计算资源需要快速响应，对实时性要求较高。

推理算力定义范围

模型权重

Modelweights

模型推理Inference

D

D

???????

Forward

‘自行车’

推理是指利用训练好的大模型，使用新数据推理出各种结论。

推理芯片的目标是在已经训练好的模型上执行任务，推理芯片不需要进行复杂的学习过程，其设计重点是在保持高效计算的同时，尽可能减少功耗。

因此，推理芯片比较关注低延时、低功耗。可配置使用优化的推理硬件，高效能的服务器和网络设备如GPU、NPU或FPGA，这些硬件能够高效执行模型推理任务，以确保快速响应时间和稳定的服务。但不一定需要与训练时相同的硬件配置。

推理型智算中心的硬件更注重处理速度和可靠性。

随着AI从训练为重走向推理为主，私有化环境及边缘的部署需求都在迎来爆发。

设备端边缘服务器

设备端

边缘服务器

本地一体机部署

私有云

公有云

4%

3%

12%

5%

8%

19%

26%

16%

58%

49%

20232027

来源：沙利文、头豹研究院

5LeadLe5

5

LeadLe

5

沙利文

市场研读2025/08中国：云服务系列

算力需求重心从训练转向推理

关键发现

2025年年初，Deepseek-V3的低成本训练为推理芯片和推理算力市场注入了一剂强心针，市场不再追求简单的算力规模的扩展，而是开始关注AI在特定业务场景下的实际应用表现，各地算力中心的资源利用率呈现出显著提升的良好态势。

模型训练与推理

业务

主体

算力

需求

工程

难度

训练推理

预训练

二次训练

全参微调

局部微调

ToC推理

ToB中心

ToB边缘

大型互联网

运营商

大模型公司

行业头部企

业

大中型企业

大中小企业

大型互联网

大型企业