原创力文档- 1、本文档共78页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
;;3.SuperCLUE-AI产品能力测评;精准量化通用人工智能（AGI）进展，定义人类迈向AGI的路线图;;;2024年值得关注的中文大模型全景图;2023-2024年度国内外大模型发展趋势;;;SuperCLUE大模型综合测评体系;SuperCLUE通用测评基准数据集;SuperCLUE-理科测评说明;SuperCLUE-理科测评说明;SuperCLUE-文科测评说明;SuperCLUE-Hard测评说明（精确指令遵循）;SuperCLUE-Hard测评说明（高阶推理）;本次测评数据选取了SuperCLUE-10月测评结果，模型选取了国内外有代表性的43个大模型在10月份的版本。;;;SuperCLUE通用能力测评：一级维度表现;SuperCLUE通用能力测评：二级细粒度分数;SuperCLUE-Hard成绩;;;;SuperCLUE-理科成绩;;;;;SuperCLUE-文科成绩;;;;;开源模型榜单;10B级别小模型榜单;来源：SuperCLUE,2024年11月8日;;国内大模型成熟度-SC成熟度指数;ChatbotArena是当前英文领域较为权威的大模型排行榜，由LMSYSOrg开放组织构建，它以公众匿名投票的方式，对各种大型语言模型进行对抗评测。将SuperCLUE得分与ChatBotArena得分进行相关性计算，得到皮尔逊相关系数：0.95，P值：3.60e-08；斯皮尔曼相关系数：0.87，P值：2.05e-05；说明SuperCLUE基准测评的成绩，与人类对模型的评估（以大众匿名投票的ChatbotArena为典型代表），具有高度一致性。;模型列表;;;;;;;1.ChatGPT-4o-latest在综合能力上领跑
ChatGPT-4o-latest取得77.81分，领跑多模态基准。其中多模态应用能力上有超过80
分的表现，展现出较强的场景适配性和落地能力。
国内最好模型hunyuan-vision取得71.95分，略低于GPT-4o有2.41分。
2.国内多模态大模型在部分细分任务上具备领先优势
Step-1V-8k在细粒度视觉认知任务如特征定位、对象计数方面表现优异；
hunyuan-vision在中文元素理解和推理任务中表现可圈可点，有超过GPT-4o的表现。;;;;SuperCLUE-Image榜单;;;;;;;;;;;;;;;.国际大模型表现依然突出
国际大模型表现依然突出：GPT4-Turbo-0125作为目前国际领先的大模型，在中文工业测评中总分74.8分，高于其他国内外模型，并且在各项子能力上均有较大优势。
.在中文工业场景中国内模型很有竞争力
在中文工业场景中国内模型很??竞争力：可以看到本次上榜的国内模型在工业基础能力和应用能力上均表现不俗，国内最高分奇智孔明AInno-15B与GPT-4总分差距仅有1.4分，远小于国内大模型通用能力上与GPT4的差距。;琅琊榜竞技场介绍;琅琊榜竞技场-性价比象限;琅琊榜用户问题分析及对战数据;未来2-3个月SuperCLUE会持续完善大模型专项能力及行业能力的测评基准。现针对于所有专项及行业测评基准征集大模型，欢迎申请。有意愿参与测评的厂商可发送邮件至contact@superclue.ai，标题：SuperCLUE专项/行业测评，请使用单位邮箱，邮件内容包括：单位信息、大模型简介、联系人和所属部门、联系方式。
预告：SuperCLUE通用基准测评12月报告将在2024年12月26日发布，欢迎反馈意见、参与测评。;;优秀模型：GLM-4-Plus（智谱）;优秀模型：Qwen2.5-72B-Instruct（阿里云）;优秀模型：Hunyuan-Turbo（腾讯）;优秀模型：SenseChat5.5（商汤）
文档评论（0）