大语言模型综合能力评测报告[34页PPT].pptx

1;;;;;;

大语言模型产品研发需要同时具备三大要素，分别为数据资源要素、算法和模型要素、资金和资源要素。InfoQ研究中心分析目前市场中的产品特征，数据资源、资金和资源两要素为大模型研发的基础要素，即必要不充分要素。

虽然数据、资金资源为大语言模型研发设置了高门槛，但对于实力雄厚的大型企业仍然是挑战较小的。算法和模型是目前区分大语言模型研发能力的核心要素。算法和模型影响的的模型丰富度、模型准确性、能力涌现等都成为评价大语言模型优劣的核心指标。

算法和模型

?模型训练的形式

?涌现出的思维链

?基于人类反馈的学习模型;

百亿参数是入场券

GPT-3和LaMDA的数据显示，在模型参数规模不超

过100亿-680亿时，大模型的很多能力（如计算能力）几乎为零。

大量计算触发炼丹机制

根据NVIDIA研究论文里的附录章节显示，一次迭代

的计算量约为4.5ExaFLOPS，而完整训练需要9500

次迭代，完整训练的计算量即为430ZettaFLOPS

（相当于单片A100跑43.3年的计算量）。

大量且丰富的数据集

常见的数据集包括GSM8k、USSE、MMLU、

HumanEval等。;;;

人工智能领域中自然语言处理、机器学习等领域目前均为对开发者要求最高的技术领域之一，需要开发者拥有优秀的教育背景和前沿技术背景。另外，对于团队磨合、经验等要求均较为严格。从目前公布的部分大模型研发团队背景可以看出，团队成员均来自国际顶级高校或拥有顶级科研经验。;;;;;

标号;

标号;

题目类别;

排名;

排名;

题目分布;

题目分布;

题目分布;

题目分布;

题目分布;

题目分布;

?逻辑推理题主要反映大语言模型产品的进阶能力，也是大语言模型最重要的理解力和判断力。

?在十个模型中逻辑推理题得分最高的为ChatGPT得分率61.43%，国内产品文心一言和讯飞星火，得分率60%。

?在五个题目分类中，大语言模型整体得分都低于基础能力，得分最高的为幽默题，而得分最低的为商务制表题。分析原因，商务制表题不但需要搜集和识别内容还需要在内容的基础上做逻辑分类和排序，整体难度较大。

?值得一提的是中文特色推理题中，国内模型领先国际模型得分较多，分析师认为对中文内容和逻辑的熟悉是核心原因。

逻辑推理题整体得分率逻辑推理细分题目得分率;;;

02;;

?极客邦科技，以“推动数字人才全面发展”为己任，致力于为技术从业者提供全面的、高质量的资讯、课程、会议、培训等服务。极客邦科技的核心是独特的专家网络和优质内容生产体系，为企业、个人提供其成功所必需的技能和思想。

?极客邦科技自2007年开展业务至今，已建设线上全球软件开发知识与创新社区InfoQ，发起并成立技术领导者社区TGO鲲鹏会，连续多年举办业界知名技术峰会（如QCon、ArchSummit等），自主研发数字人才在线学习产品极客时间App，以及企业级一站式数字技术学习SaaS平台，在技术人群、科技驱动型企业、数字化产业当中具有广泛的影响力。

?2022年成立双数研究院，专注于数字经济观察与数字人才发展研究，原创发布了数字人才粮仓模型，以此核心整合极客邦科技专业的优质资源，通过KaaS模式助力数字人才系统化学习进阶，以及企业数字人才体系搭建。

?公司业务遍布中国大陆主要城市、港澳台地区，以及美国硅谷等。十余年间已经为全球千万技术人，数万家企业提供服务。;

内容咨询：researchcenter@