评测驱动代码大模型“码力”提升.pdf

评测驱动代码大模型

“码力”提升

GOPS大会主要面向运维行业的中高端技术人员，包括运维、开发、测试、架构师等群体。目的在于帮助IT技术从业者系统学习了解相关知识体系，让创新技术推动社会进步。您将会看到国内外知名企业的相关技术案例，也能与国内顶尖的技术专家探讨技术实践，使企业可以根据最佳实践确定自己的选型方案，并提前预估相关的风险和收益，实现技术落地。

王一男

2024.06

LLM代码能力评测方法

目录LLM代码能力评测数据集

GOPS大会主要面向运维行业的中高端技术人员，包括运维、开发、测试、架构师等群体。目的在于帮助IT技术从业者系统学习了解相关知识体系，让创新技术推动社会进步。您将会看到国内外知名企业的相关技术案例，也能与国内顶尖的技术专家探讨技术实践，使企业可以根据最佳实践确定自己的选型方案，并提前预估相关的风险和收益，实现技术落地。

LLM代码能力评测反馈闭环实践

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

王一男

腾讯|研发效能产品专家

GOPS大会主要面向运维行业的中高端技术人员，包括运维、开发、测试、架构师等群体。目的在于帮助IT技术从业者系统学习了解相关知识体系，让创新技术推动社会进步。您将会看到国内外知名企业的相关技术案例，也能与国内顶尖的技术专家探讨技术实践，使企业可以根据最佳实践确定自己的选型方案，并提前预估相关的风险和收益，实现技术落地。

腾讯智能化软件工程数据与评测团队负责人。曾任百度工程效能部产品负责人，开源中国产

品总监。北京航空航天大学软件工程本科、硕士。致力于通过设计软件研发效率工具，推动

软件工程实践落地来提升组织的研发效能。曾主笔制定企业软件工程规范，主导多个企业级

研发效能平台的规划设计与系统开发。

GOPS全球运维大会暨XOps技术创新峰会2024·北京站

腾讯代码智能化产品：工蜂Copilot

侧屏（Chat模式）主屏（写代码模式）

主屏(写代码模式)

l代码补全

l代码生成

使用混元代码大模型

侧屏(Chat模式)

GOPS大会主要面向运维行业的中高端技术人员，包括运维、开发、测试、架构师等群体。目的在于帮助IT技术从业者系统学习了解相关知识体系，让创新技术推动社会进步。您将会看到国内外知名企业的相关技术案例，也能与国内顶尖的技术专家探讨技术实践，使企业可以根据最佳实践确定自己的选型方案，并提前预估相关的风险和收益，实现技术落地。