驾驭大模型开发真实项目代码 - 2024DevOps实践.pdf

⽬录1
⼤模型辅助开发⽣态

2
开发真实需求的挑战

3
切换到知识⽣产和消费的思维框架

⽬录4
依赖经验知识的编码任务实验

5
知识分类及提⽰词框架

6
⼤模型辅助开发的实⽤形态

1
⼤模型辅助开发⽣态-任务全貌

利⽤⼤模型的模式：

1
⼤模型辅助开发⽣态-主⼲任务相关应⽤现状

Devin,MetaGPT,...

GithubCopilotWorkspace,Cursor,...

ChatGPTowithcanvas,Claudeworkspace

⼿搓ChatGPT,o,Claude

1
⼤模型辅助开发⽣态-了解测评背后的任务

GithubCopilot的实验HumanEval评估数据SWE-Bench

Lite评估集有300个case，18%仅1⾏改动，30%在2⾏以内，

20+⾏改动的占7.3%。

任务是⽤JS开发⼀个WebServer较为独⽴的函数级任务被解决的问题集中在评估集中的简单任务。

得出结论-效率提升55%项⽬都是纯python的库，如django和pytest。

⾯试题vs实际项⽬任务

2
开发真实需求的挑战-看⼀个例⼦

⽤最好的模型⼿⼯实验才能得到最好的

⽣成效果。

⽬录结构+代码⽂件+任务描述作为提⽰

词的起点。

选个真实需求，⼈⼯做任务的规划。

实现步骤类似粗粒度的伪码，包含：

改动⼊⼝或函数签名及输⼊输出格

式：如何与现有代码集成。

复⽤的约束：遵循设计约束，⽽⾮

新写⼀套。

新能⼒实现的提⽰：提⽰⽐较难的

细节。

开发步骤提⽰的⾜够细⽣成的效果就⾜

够好，但是...

2
开发真实需求的挑战-分析任务难度

⼤模型能⼒：规划推理、指令遵从、窗⼝⻓度、注意⼒、输出倾向等

3
切换到知识⽣产和消费的思维框架

4
依赖经验知识的编码任务

如何遵循设计

是复杂编码任务的重要挑战