1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 学术论文
  5. 社科论文

大语言模型系统级单位token能耗测评.pptx

大语言模型系统级单位token能耗测评.pptx

    大语言模型系统级单位token

    能耗测评

    AI算力的另一面：从能力到能效

    模型需求飞速增长

    能耗正在成为天花板

    MMLU从60→90+，参数五年增长5000倍

    中国日均token调用量:

    2025年全球数据中心用电激增17%

    推理已占机器学习计算80-90%需求

    2024年初1000亿→

    2026年3月140万亿

    一个对话式AI年推理耗电量

    可能超出训练数十倍

    两年增长逾千倍

    稳定性挑战

    成本门槛高

    工程集成复杂

    合规与安全约束

    幻觉问题

    一致性不足

    长尾场景不稳

    训统成本高昂

    推理成本高企

    资源消耗巨大

    系统改造成本高

    工具链不完善

    集成周期长

    隐私与数据安全

    内容

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >