SuperCLUE：中文大模型基准测评2024年10月报告-2024年度中文大模型阶段性进展评估.pdfVIP

中文大模型基准测评2024年10月报告

—2024年度中文大模型阶段性进展评估

报告核心结论摘要

•OpenAI发布o1后，全球大模型竞争加剧

o1-preview的推出进一步拉大了与其他模型的差距。经测评，目前国内大模型正在持续接

近Claude3.5Sonnet和ChatGPT-4o-latest的能力，但与o1-preview在中文难任务（Hard

任务）上相差约为14%，在中文通用能力上相差约8%。

•国内大模型第一梯队竞争激烈，持续迭代表现不俗

国内开源模型Qwen2.5-72B-Instruct、DeepSeekV2.5领跑全球开源模型，最新发布的

TeleChat2-35B同样表现出色，超过了国内外众多开源模型；国内闭源模型GLM-4-Plus、

SenseChat5.5、AndesGPT-2.0表现优异，与ChatGPT-4o-latest相距2分以内。

•国内外大模型在不同任务上表现各有优势

国内外模型在不同维度任务表现各有特色。o1-preview在Hard任务中表现卓越，有较大

领先性，国内大模型则更擅长理科和文科任务。

•端侧小模型表现惊艳

国内端侧小模型进展迅速，部分小尺寸模型表现要好于上一代的稍大尺寸模型，如

Qwen2.5-1.5B-Instruct、MiniCPM3-4B，均展现出很高的性价比和落地可行性。

来源：SuperCLUE模型象限,2024年11月8日

2

1.国内大模型关键进展及趋势

•2023-2024年大模型关键进展

•2024年值得关注的中文大模型全景图

•2023-2024年度国内外大模型技术发展趋势

2.SuperCLUE通用能力测评

•中文大模型基准SuperCLUE介绍

•SuperCLUE测评体系及数据集

•总榜、理科榜单、文科榜单、Hard榜单及模型象限

•开源榜单及端侧小模型榜单

•大模型对战胜率、成熟度指数

•评测与人类一致性分析

3.SuperCLUE-AI产品能力测评

目录