2杨健-从代码大模型到通用代码智能体.pdfVIP

从代码基础模型到代码智能体

演讲者：杨健

北京航空航天大学

汇报内容

背景介绍

代码基础模型

代码智能体

研究背景：大模型代码能力发展历史

①JianYang,etc.FromCodeFoundationModelstoAgentsandApplications:AComprehensiveSurveyandPracticalGuidetoCodeIntelligence.

研究背景：大模型代码能力发展历史

①JianYang,etc.FromCodeFoundationModelstoAgentsandApplications:AComprehensiveSurveyandPracticalGuidetoCodeIntelligence.

汇报内容

背景介绍

代码基础模型

代码智能体

可验证的强化学习

可验证的强化学习

可验证的强化学习

可验证的强化学习

代码大模型预训练缩放定律

代码大模型的缩放定律（ScalingLaw）：首次系统研究了多通用大模型的缩放定律无法

拟合现有代码大模型→

编程语言代码预训练的缩放定律，通过1000多组实验验证了需要代码大模型缩放定律，

为训练代码基础模型提供参考

0.5B-32B代码大模型下不同编程语言的特性差异、跨语言迁移

效应和最优数据分配策略，为训练有效的代码大模型提供先验

跨语言协同增益矩阵预训练最优代码配比

不同编程语言的缩放定律

目标编程语言的预损失由模型规模语言特异的缩放指数

ℓ

,与不可约损失所决定，并由其他语言的训练数据通过跨

ℓℓ∞,ℓ

语言迁移系数转化为有效数据量

ℓ

循环代码大模型

模型系列与定位核心特性性能亮点

Ø提供7B,14B,40B,40B-Loop等多个参数ØCode-Flow多阶段训练范式捕捉逻辑动态演化Ø在SWE-benchVerified等各项任务上达到业界领先

规模，满足不同场景需求。。水平，尤其在软件工程和竞争性编程表现突出。

Ø其中40B