大语言模型系统级单位Token能耗测评-概览.pptx

大语言模型系统级单位Token能耗测评从能力评测到能效决策·模型×硬件×场景系统化匹配

背景：AI算力的另一面——能耗正在成为天花板?模型需求飞速增长：MMLU从60→90+，参数五年增长5000倍中国日均token调用量：2024年初1000亿→2026年3月140万亿，两年增长逾千倍2025年全球数据中心用电激增17%，推理已占机器学习计算80-90%一个对话式AI年推理耗电量可能超出训练数十倍每百万token推理电费可达1.4元，占API定价的7%-28%?核心挑战：电力供给受限、散热成本高企、碳排放压力、经济性挑战未来竞争不仅是模型能力，更是能效与可