大语言模型系统级单位token能耗测评.pptxVIP

大语言模型系统级单位token

能耗测评

模型需求飞速增长

MMLU从60→90+，参数五年增长5000倍

中国日均token调用量：

2024年初1000亿→

2026年3月140万亿

两年增长逾千倍

能耗正在成为天花板

2025年全球数据中心用电激增17%

推理已占机器学习计算80-90%需求

未来竞争不仅是模型能力的竞争，更是能效与可持续的竞争

每百万token推理电费可达1.4元占API定价的7%-28%

一个对话式AI年推理耗电量

可能超出训练数十倍

业界需要一个能同时回答选什么模型、配什么硬件、跑什么场景的决策系统

让选型更科学、决策更高效、部署更可靠、投入产出比更优

三重困境

场景复杂

场景负载不同，最优组合各异

选型困境

缺少方法论，选型靠经验

榜单局限

只测能力，不测硬件

从“哪个模型能力最强”到“哪个组合最适合业务”

系统定位

差异化定位

调度能力x无✓Aitra调度

能耗评测x未涵盖✓核心指标

司南/HF等榜单

x未涵盖

本评测方案

✓实测

维度

硬件实测

四层闭环结构

lm-are