中文大模型基准测评2023年度报告—AI跃迁的2023，中文大模型进展评估-SuperCLUE团队.pptx

中文大模型基准测评2023年度报告—AI跃迁的2023，中文大模型进展评估SuperCLUE团队2023.12.28

目录01国内大模型关键进展2023年大模型关键进展与中文大模型全景图2023年国内大模型发展趋势中文大模型基准SuperCLUE介绍测评体系、层次、方法说明SuperCLUE模型象限国内外大模型总体表现及竞争格局大模型对战胜率分布图02测评体系、方法说明03大模型综合测评结果050604SuperCLUE2.0升级行业及专项测评基准四大维度测评分析及示例介绍四大维度测评结果及示例优秀模型案例介绍优秀模型案例介绍

第1部分2023全年国内大模型关键进展

（关键进展）时间5准备期成长期爆发期故事的起点：ChatGPT发布国内迅速形成大模型共识百度发布文心一言1.02023大模型关键进展2022.122月6月8月10月2023.124月OpenAI发布GPT4元语开源ChatYuan复旦开源MOSS清华开源ChatGLM360发布360智脑1.0科大讯飞发布星火1.0阿里云发布通义千问1.0Meta开源Llama2百川智能开源Baichuan-7BOpenAI发布多模态GPT-4VGPT-4Turbo发布百度升级文心一言4.0商汤科技发布商量1.0阿里云开源Qwen-7B华为发布盘古3.0字节跳动公测大模型产品豆包百川智能开源Baichuan2vivo发布BlueLM清华开源ChatGLM3清华智谱AI开源ChatGLM2小米发布大模型MiLM西湖心辰发布西湖大模型零一万物开源Yi-34B文心一言升级V3.5科大讯飞升级星火3.0元象科技开源XVERSE-13B昆仑万维发布天工1.0云从科技发布从容大模型出门问问发布序列猴子上海人工智能实验室开源InternLM-20BOPPO发布AndesGPT商汤科技升级商量2.0商汤科技升级商量3.0理想汽车发布MindGPT腾讯发布混元助手360升级智脑4.0自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年也有了实质性的突破。大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）。SuperCLUE：AI大模型2023年关键进展百川智能发布Baichuan2—TurboGoogle发布多模态大模型Gemini

2023年值得关注的中文大模型全景图通用大模型字节云雀大模型AndesGPT玉言闭源开源行业大模型岐黄问道医疗MindGPT银河大模型蚂蚁金融大模型轩辕大模型AInno-15BCOSMO-GPT文化/零售/交通妙笔大模型百川BaichuanBlueLM云天书孟子部分领域汽车教育金融工业........................SMoreLrMo............Yi-34B序列猴子

过去六个月国内外代表性模型的发展趋势趋势说明国内外大模型发展趋势过去半年，国内领军大模型企业实现了大模型代际追赶的奇迹，从7月份与GPT3.5的20分差距，每个月都有稳定且巨大的提升，到11月份测评时已经完成总分上对GPT3.5的超越。我们可以看到GPT3.5和GPT4在中文上的表现情况基本一致，在11月份测评结果中显示，在中文能力都有一定的下滑，而国内头部模型则展现了继续稳健提升的能力。在12月份的测评结果中可以看到，国内第一梯队模型与GPT4的差距在缩小。但仍有较大的距离需要追赶。说明：趋势展示，选取了7月-12月SuperCLUE-OPEN测评分数。国内代表性模型，选取了文心一言、通义千问、ChatGLM。原因是综合考虑了过去半年SuperCLUE测评结果、长期稳定迭代及对国内大模型生态的贡献；GPT4成绩，由GPT4-API(7-9月)与GPT4-Turbo(10-12月)组成，用以表现国外最好模型发展。模型7月8月9月10月11月12月文心一言50.4854.1853.7261.8173.6275通义千问-41.7333.7843.3661.0171.78ChatGLM42.4638.4954.3158.5363.2769.91部分国内代表性模型SuperCLUE基准得分(7月-12月)

第2部分测评体系、方法说明1.SuperCLUE介绍2.测评层级3.测评体系4.测评方法及示例

010203SuperCLUE始终秉持中立、客观的第三方测评理念，不会预