大语言模型系统级单位token能耗测评.pptx

大语言模型系统级单位token能耗测评.pptx

大语言模型系统级单位token

能耗测评

模型需求飞速增长

MMLU从60→90+,参数五年增长5000倍

中国日均token调用量:

2024年初1000亿→

2026年3月140万亿

两年增长逾千倍

能耗正在成为天花板

2025年全球数据中心用电激增17%

推理已占机器学习计算80-90%需求

未来竞争不仅是模型能力的竞争,更是能效与可持续的竞争

每百万token推理电费可达1.4元占API定价的7%-28%

一个对话式AI年推理耗电量

可能超出训练数十倍

业界需要一个能同时回答选什么模型、配什么硬件、跑什么场景的决策系统

让选型

文档评论(0)

1亿VIP精品文档

相关文档