大模型辅助需求代码开发-路宁.docx

?

?探索提升核?编码任务?成效果的?法

1?模型辅助开发?态4依赖经验知识的编码任务实验

1

?模型辅助开发?态

4

依赖经验知识的编码任务实验

2

开发真实需求的挑战

5

知识分类及提?词框架

3

切换到知识?产和消费的思维框架

6

?模型辅助开发的实?形态

?模型辅助开发?态-任务全貌

利??模型的模式：

?模型辅助开发?态-主?任务相关应?现状

手搓大模型

?模型辅助开发?态-了解测评背后的任务

Githubcopilot的实验

HumanEval评估数据

较为独?的函数级任务

.任务是?JS开发?个WebServer.得出结论-效率提升55%

?模型辅助开发?态-了解测评背后的任务

SWE-Bench

.Lite评估集有300个case，18%仅1?改动，30%在2?以内，20+?改动的占7.3%。

.被解决的问题集中在评估集中的简单任务。

·项?都是纯python的库，如django和pytest。

2开发真实需求的挑战-看?个例??最好的模型??实验才能得到最好的?成效果。?录结构+代码?件+任务描述作为提?

2

开发真实需求的挑战-看?个例?

?最好的模型??实验才能得到最好的?成效果。

?录结构+代码?件+任务描述作为提?词的起点。

选个真实需求，??做任务的规划。

实现步骤类似粗粒度的伪码，包含：

。改动??或函数签名及输?输出格式：如何与现有代码集成。

。复?的约束：遵循设计约束，??新写?套。

。新能?实现的提?：提??较难的细节。

开发步骤提?的?够细?成的效果就?够好，但是...

2开发真实需求的挑战-分析任务难度大模型能力:规划推理、指令遵从、

2

开发真实需求的挑战-分析任务难度

大模型能力:规划推理、指令遵从、窗??度、注意?、输出倾向等

3切换到知识?产和消费的思维框架

3

切换到知识?产和消费的思维框架

4

4

依赖经验知识的编码任务

如何遵循设计

是复杂编码任务的重要挑战

经验

新任务

依赖经验知识的编码任务-利?通过框架完成任务的?法描述

代码上下?中已蕴藏这些经验，但加?经验描述影响?窗?中的注意?分布，降低推理负担，提升?成效果。

4

4

依赖经验知识的编码任务-利?相关任务的实例化经验

加??个任务的具体实例（changelist），?来刻画在设计约束下实现?个任务的细节经验，给其他编码任务做参

经验新任

经验

新任务

changelist

4

4

依赖经验知识的编码任务-利?相关任务的实例化经验

知识分类及提?词框架5产物知识：在流程中以产物形式显性表达的知识。经验知识：

知识分类及提?词框架

5

产物知识：在流程中以产物形式显性表达的知识。

经验知识：?产产物知识过程中使?的经验，往往是隐性的。

衍生数据知识：程序运?时的数据，还有基于代码分析出来的数据，?于知识相关性计算或直接拿来提升某些任务效果。

5

知识分类及提?词框架

在什么上下文下（基于什么），应?什么样的经验（怎么?），完成?个什么样的任务（?什么）。

对于现在?模型的能?，可有可?。

来?产物知识，默认为项??件?录及代码?件。

来?复?的经验知识。

对输出内容及各式的约束说明。

具体任务的描述和实现提?。

?模型辅助开发的实?形态

.?具能做到什么程度？知识?程+Agent.?程师是否需要裸?ChatGPT？

.?程师是否必须能驾驭?模型？.?的精?能被释放到什么程度？

.追求多??例的效率提升?较现实？.个?维护知识?程是否可?？