SuperCLUE：中文大模型基准测评2024年10月报告-2024年度中文大模型阶段性进展评估 .docxVIP

中文大模型基准测评2024年10月报告—2024年度中文大模型阶段性进展评估

SuperCLUE团队

2024.11.08

报告核心结论摘要

?OpenAI发布o1后，全球大模型竞争加剧

o1-preview的推出进一步拉大了与其他模型的差距。经测评，目前国内大模型正在持续接

近Claude3.5Sonnet和ChatGPT-4o-latest的能力，但与o1-preview在中文难任务（Hard

任务）上相差约为14%，在中文通用能力上相差约8%。

?国内大模型第一梯队竞争激烈，持续迭代表现不俗

国内开源模型Qwen2.5-72B-Instruct、DeepSeekV2.5领跑全球开源模型，最新发布的

TeleChat2-35B同样表现出色，超过了国内外众多开源模型；国内闭源模型GLM-4-Plus、

SenseChat5.5、AndesGPT-2.0表现优异，与ChatGPT-4o-latest相距2分以内。

?国内外大模型在不同任务上表现各有优势

国内外模型在不同维度任务表现各有特色。o1-preview在Hard任务中表现卓越，有较大

领先性，国内大模型则更擅长理科和文科任务。

?端侧小模型表现惊艳

国内端侧小模型进展迅速，部分小尺寸模型表现要好于上一代的稍大尺寸模型，如

Qwen2.5-1.5B-Instruct、MiniCPM3-4B，均展现出很高的性价比和落地可行性。

来源：SuperCLUE模型象限,2024年11月8日

2

1.国内大模型关键进展及趋势? 2023-2024年大模型关键进展

? 2024年值得关注的中文大模型全景图

? 2023-2024年度国内外大模型技术发展趋势2.SuperCLUE通用能力测评

? 中文大模型基准SuperCLUE介绍? SuperCLUE测评体系及数据集

? 总榜、理科榜单、文科榜单、Hard榜单及模型象限? 开源榜单及端侧小模型榜单

? 大模型对战胜率、成熟度指数

目录

? 评测与人类一致性分析

3.SuperCLUE-AI产品能力测评

? SuperCLUE-Coder代码助手产品测评

? SuperCLUE-AISearch搜索产品测评

? SuperCLUE-Voice实时语音产品测评

4.SuperCLUE多模态能力测评? SuperCLUE-V多模态理解测评? AIGVBench视频生成测评

? SuperCLUE-Image文生图测评

5.SuperCLUE专项与行业基准测评? 各行业、专项测评

? 未来两个月基准发布计划

6.优秀模型案例介绍

? 优秀模型案例介绍

精准量化通用人工智能（AGI）进展，定义人类迈向AGI的路线图

AccuratelyquantifyingtheprogressofAGI,definingtheroadmapforhumanitysjourneytowardsAGI.

第1部分国内大模型关键进展及趋势

1.2023-2024年大模型关键进进展2.2024年值得关注的中文大模型全景图3.2023-2024年度国内外大模型技术发展趋势

5

2023-2024大模型关键进展

?自2022年11月30日ChatGPT发布以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。国内学术和产业界在过去一年半也有了实质性的突破。大致可以分为四个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）、繁荣期（更多模态能力的延伸和应用）。

SuperCLUE：AI大模型2023-2024年关键进展

（关键进展）

繁荣期

准备期

ChatGPT发布

国内迅速形成

大模型共识

成长期

?OpenAI发布GPT4、Meta开源Llama

?闭源模型：文心一言1.0、360智脑、讯飞星火、通义千问、商量2.0、盘古3.0、从容大模型等相继发布。

?开源模型：ChatGLM、Baichuan等

模型相继开源

爆发期

?OpenAI发布GPT4Turbo、GPT-4V

?Google发布多模态大模型Gemini

?闭源模型：腾讯混元、字节豆包、文心一言4.0、讯飞星火3.0、小米MiLM、BlueLM、AndesGPT等模型相继发布。

?开源模型：零一万物Yi、阿里Qwen、

Baichuan2等模型相继开源。

?OpenAI发布Sora、GPT-4o、o1；Gemini-

1.5、Claude3.5、Grok2、Llama3等发布。

?Gen-3、Luma、SD3、Flux等文生视频/图模