大语言模型系统级单位token能耗测评_18页_5mb.pptxVIP

大语言模型系统级单位token;模型需求飞速增长MMLU从;三重困境选型困境缺少方法论，选;系统定位差异化定位维度硬件实测;五项核心指标能耗每token消;统一测试环境硬件8xNVI;所有模型三场景最低J/tok;1批处理大小是能效第一驱动力能;1批处理大小对GPU利用率影响;1能耗-延迟的天然权衡TPOT;部署建议（文本聊天场景）TP=;同一模型，换引擎=换表现推;能效电费映射：从能效到可感知的;现有能耗监测的局限当前能耗获取;测量方法实现1kHz物理采;局限未来可量化的选型依据为企业;本次测评由清华大学电机工程与应;Thank you!