大模型辅助需求代码开发.pdf

⼤模型辅助需求代码开发

⸺探索提升核⼼编码任务⽣成效果的⽅法

演讲⼈：路宁

⽬录

⼤模型辅助开发⽣态依赖经验知识的编码任务实验

开发真实需求的挑战知识分类及提⽰词框架

切换到知识⽣产和消费的思维框架⼤模型辅助开发的实⽤形态

⼤模型辅助开发⽣态-任务全貌

利⽤⼤模型的模式：

⼤模型辅助开发⽣态-主⼲任务相关应⽤现状

⼿搓⼤模型

⼤模型辅助开发⽣态-了解测评背后的任务

GithubCopilot的实验HumanEval评估数据

较为独⽴的函数级任务

任务是⽤JS开发⼀个WebServer

得出结论-效率提升55%

⼤模型辅助开发⽣态-了解测评背后的任务

SWE-Bench

Lite评估集有300个case，18%仅1⾏改动，

30%在2⾏以内，20+⾏改动的占7.3%。

被解决的问题集中在评估集中的简单任务。

项⽬都是纯python的库，如django和pytest。

开发真实需求的挑战-看⼀个例⼦

⽤最好的模型⼿⼯实验才能得到最好的

⽣成效果。

⽬录结构+代码⽂件+任务描述作为提⽰

词的起点。

选个真实需求，⼈⼯做任务的规划。

实现步骤类似粗粒度的伪码，包含：

改动⼊⼝或函数签名及输⼊输出格

式：如何与现有代码集成。

复⽤的约束：遵循设计约束，⽽⾮

新写⼀套。

新能⼒实现的提⽰：提⽰⽐较难的

细节。

开发步骤提⽰的⾜够细⽣成的效果就⾜

够好，但是...

开发真实需求的挑战-分析任务难度

⼤模型能⼒：规划推理、指令遵从、窗⼝⻓度、注意⼒、输出倾向等

切换到知识⽣产和消费的思维框架

依赖经验知识的编码任务