1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 高等教育
  5. 语言学

大语言模型系统级单位token能耗测评-全球计算联盟.pptx

大语言模型系统级单位token能耗测评-全球计算联盟.pptx

    大语言模型系统级单位token

    能耗测评

    模型需求飞速增长

    MMLU从60→90+，参数五年增长5000倍

    中国日均token调用量：

    2024年初1000亿→

    2026年3月140万亿

    两年增长逾千倍

    能耗正在成为天花板

    2025年全球数据中心用电激增17%推理已占机器学习计算80-90%需求

    未来竞争不仅是模型能力的竞争，更是能效与可持续的竞争

    一个对话式AI年推理耗电量

    可能超出训练数十倍

    每百万token推理电费可达1.4元

    占API定价的7%-28%

    榜单局限

    只测能力，不测硬件

    业界需要一个能同时回答选什么模型、配什么硬件

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >