原创力文档- 1、本文档共18页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
面向AI编程：代码大模型的SFT实践
陈秋远｜腾讯高级研究员代码智能化领域博士
01代码大模型-编程场景与挑战
目代码大模型-SFT训练调优策略
C
02
O
N
T
E代码大模型-数据飞轮与工程落地
N
03
录T
S
代码大模型-编程场景与挑战
代码大模型-编程场景与挑战
代码大模型-编程场景与挑战
模型缺乏对代码的结构化理解
AI过度补全
代码结构
语法
语义特征
光标上下文
函数调用语
句
代码大模型-编程场景与挑战
场景定义：SFT可以让代码大模型更好地贴近业务场景，有哪些调优目标？
代码大模型目标：序号软工任务输入定义输出定义
服务开发中的需求、编码、测试、维护1代码生成自然语言描述代码片段
全流程。2代码补全（续写）代码片段代码片段
预训练与SFT的区别：3代码摘要（解释注释）代码函数自然语言
预训练模型：训练模式匹配补全场景4测试用例生成代码函数代码函数：函数对应的测试用例
SFT模型：适应调优目标，对输入输出有特定5CR评论生成代码变更自然语言
的要求
6代码描述续写自然语言自然语言
类比：
预训练：阅读大量课本（源代码）7代码格式化代码文件格式化的代码文件
SFT：让模型做练习题（编程题），让模型快8代码风格检测代码函数代码中的风格问题及相应的位置
速适应特定的考试场景。
9代码翻译原始语言代码函数目标语言代码函数
挑战：细分场景众多，SFT数据稀缺……
代码大模型-SFT训练调优策略
背景：细分场景众多，代码领域SFT数据稀缺，Evol-instruct方法快速
构造
Evolve-instruct方法：利用商业许可的SOTA大模型，在
约束条件下让种子数据集“进化”（evolve），获得高质量代
码数据集
代码大模型-SFT训练调优策略
Evolve-insturct核心：全方位的约束指令，让数据“进化”，质量迭代提升。
Evolve-insturct的例
子（示意）
*对抗式约束的prompt需特殊构造，用于让模型更好
地识别不合理指令
代码大模型-数据飞轮与工程落地
背景：需要人工标注，使代码模型和人类（开发者）偏好对齐
数据飞轮:定期分析工蜂Copilot的badcase，针对真实存在的问题，对数据进行进一步优化。
挑战：
代码领域的标注比通用自然语言专业度要求更高，需要
可以落地实操的细则。
《高质量代码数据标注细则》
人工对齐可以对重点数据和领域进行标注，且准确度更高，是有益补充
代码大模型-数据飞轮与工程落地
训练方法论：AI大模型调参训练与数据高
文档评论（0）