superclue_2024中文大模型基准测评2024年度报告.pptx

;精准量化通用人工智能（AGI）进展，定义人类迈向AGI的路线图;;;报告目录;;;;2024年国内外大模型差距;Qwen2.5;;SuperCLUE是大模型时代背景下CLUE基准的发展和延续，是独立、领先的通用大模型的综合性测评基准。中文语言理解测评基准CLUE（TheChineseLanguageUnderstandingEvaluation）发起于2019年，陆续推出过CLUE、FewCLUE、ZeroCLUE等广为引用的测评基准。

2019 2020 2021 2022 2023.01-06 2023.07-12 2024.01-06 2024.07-09 2024.10-12;;SuperCLUE通用测评基准数据集及评价方式;理科测评说明1（计算、逻辑推理）;理科测评说明2（代码）;文科测评说明;Hard测评说明1（精确指令遵循）;Hard测评说明2（深度推理）;Hard测评说明??（Agent）;本次测评数据选取了SuperCLUE-12月测评结果，模型选取了国内外有代表性的42个大模型在12月份的版本。;;海外及其他对比模型;;202??-2024年SuperCLUE基准国内外大模型Top??;SuperCLUE通用能力测评：一级维度表现;SuperCLUE通用能力测评：二级细粒度分数;九大任务年度Top5;SuperCLUE大模型综合效能区间分布;SuperCLUE性价比区间分布;国内外推理模型能力对比;SuperCLUE-Hard成绩;;;【第一轮问题】：在当前目录中新建一个名为“Chinese.txt”的文件。

【模型回复1】：[touch(file_name=Chinese.txt)]

【模型得到的反馈1】：第1个函数调用：touch(file_name=Chinese.txt),执行返回结果为：None

【模型回复2】：[open(file_name=Chinese.txt,mode=r)]

【模型得到的反馈2】：第1个函数调用：open(file_name=Chinese.txt,mode=r),执行返回结果为：Errorduringexecution:open()missingrequiredargumentfile(pos1)

篇幅有限省略

【模型回复14】：[open(file=Chinese.txt,mode=r),read(file=Chinese.txt),

len(content)]

【模型得到的反馈14】：第1个函数调用：open(file=Chinese.txt,mode=r),执行返回结果为：_io.TextIOWrappername=Chinese.txtmode=rencoding=cp936

第2个函数调用：read(file=Chinese.txt),执行返回结果为：Errorduringexecution:namereadisnotdefined

第3个函数调用：len(),执行返回结果为：Errorduringexecution:len()takes

exactlyoneargument(0given)

【模型回复15】：[withopen(file=Chinese.txt,mode=r)asf:content=f.read(),len(content)]

注：第一轮对话失败，共三轮对话。此题不得分。;;;SuperCLUE-理科成绩;;;;SuperCLUE-文科成绩;;;国内大模型成熟度-SC成熟度指数;ChatbotArena是当前英文领域较为权威的大模型排行榜，由LMSYSOrg开放组织构建，它以公众匿名投票的方式，对各种大型语言模型进行对抗评测。将SuperCLUE得分与ChatBotArena得分进行相关性计算，得到皮尔逊相关系数：0.92，P值：1.84e-07；斯皮尔曼相关系数：0.93，P值：9.33e-08；说明SuperCLUE基准测评的成绩，与人类对模型的评估（以大众匿名投票的ChatbotArena为典型代表），具有高度一致性。;;;开源模型榜单;10B级别小模型榜单;2024年端侧小模型快速发展，已在设备端侧（非云）上实现本地运行，其中PC、手机、智能眼镜、机器人等大量场景已展现出极高的落地可行性。

国内端侧小模型进展迅速，相比国外小模型，国内小模型在中文场景下展现出更好的性能表现

Qwen2.5-3B-Instruct表现惊艳，取得总分46.1分的优异成绩，在SuperC