全球计算联盟大语言模型系统级单位token能耗测评.pptx

大语言模型系统级单位token能耗测评

模型需求飞速增长MMLU从60→90+，参数五年增长5000倍中国日均token调用量：2024年初1000亿→2026年3月140万亿两年增长逾千倍能耗正在成为天花板年全球数据中心用电激增17%推理已占机器学习计算80-90%需求一个对话式AI年推理耗电量可能超出训练数十倍每百万token推理电费可达1.4元占API定价的7%-28%未来竞争不仅是模型能力的竞争，更是能效与可持续的竞争

三重困境选型困境缺少方法论，选型靠经验榜单局限只测能力，不测硬件场景复杂场景负载不同，最优组合各异业界需要一个能同时