原创力文档- 1、本文档共37页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
代码大模型评测方法与实践
王一男|2024.05.24
1.代码大模型评测方法介绍
目录2.代码大模型评测数据集制作流程
CONTENTS3.代码大模型评测反馈闭环实践
腾讯代码智能化产品：工蜂Copilot
侧屏（Chat模式）主屏（写代码模式）
主屏(写代码模式)
l代码补全
l代码生成
使用混元代码大模型
侧屏(Chat模式)
l原生能力
l计算机知识问答
l代码漏洞、缺陷检测和修复
l代码优化
l单测代码生成
l通用代码生成
ltRPC领域代码生成
比较多种模型迭代优化
腾讯代码智能化产品：工蜂CopilotAI评审
工蜂CopilotAICR
代码大模型评测方法
模型评测——用户问题
全面评测
准确评测
快速评测
人工评测—代码大模型综合能力评测
•5档评分
•档位+权重计算总分
•参考标准答案
•1题3人评测，计算Agreement
自动化评测——代码生成场景
提示语（问题）
评测数据集：HumanEval/HumanEval-0-Shot/T-HumanEval
•OpenAI为了评测Codex模型而构造的评测数据集
•164个问题
•Python语言（HumanEval–X支持5种语言）
•每个task（case）包含提示语、规范的解决方案、单元测试、文
字说明、函数声明、单元测试样例
•单元测试用例平均7.7个/每问题
单元测试
代码生成场景——评测结果（Pass@1）
自动化评测——代码补全场景
评测方法：
1.在一段评测代码中掩盖X%行的代码后，作为
prompt输入模型
2.模型返回代码中取第一行，与1中的prompt组成新的
prompt继续输入模型
3.重复第2步，直到模型将代码补全完成
4.将第3步补全完成的代码，执行单元测试，计算
Pass@1
自动化评测——代码补全场景—评测结果（Pass@1）（CC_MBX
文档评论（0）