大模型赋能 DevOps，研发全环节提速-唐辉.pdf

大模型赋能DevOps，

研发全环节提速

百度-工程效能部/唐辉

目录

•背景和早期探索

•解决方案

•全流程落地实践

•总结与展望

背景与早期探索

•早期艰难的探索

•问题思考与总结

•生成式大模型带来了曙光

早期艰难的探索：以提升研发效能、提升用户体验为目标

简单场景：规则+算法复杂场景：机器学习（深度学习）

检索式产品问答机器人代码评审

语义理

解

选择器选项的智能排序需求扩写

基于历史行为的下一步操作推荐、性能优化提交代码推荐相关卡片多任务

基于搜索的日志报错分析

代码冲突智能解决

逻辑

基于需求内容推荐关联文档

…………

…………

问题思考与总结

生成式大模型到来之前，复杂场景无法落地的原因：

1.语义理解能力弱：不理解用户语义，用起来只能在限定范围内作答，不”智能“。以问答为例，用户需求比较明确，但是我们当时只能根据用户

需求找到响应的回答，给出一大段内容。

2.缺少优质数据：大模型出现之前，研发领域缺少高质量数据。数据收集、清洗、标注工作量巨大，需要投入大量人力物力。大模型到来之前，

智能化更多是锦上添花的存在，没看到成功案例的情况下，投入会比较谨慎。

3.模型训练缓慢：

•模型训练和优化的难度大：由于产品研发团队的构成，专业的算法工程师资源稀缺，对模型的训练和优化需要深入的技术专业知识和丰富经验。

•模型训练投入大，回报缓慢：训练模型需要大量的时间和资源，且成本较高，训练后的效果又不一定能达到预期，所以很少有团队尝试。

4.对于复杂任务信心不足：研发领域缺少智能化的先例。以代码智能评审为例，调研过程发现传统的自然语言处理技术难以理解代码的语

义，而传统的代码分析技术难以理解代码的上下文。以需求扩写为例，调研当时的AIGC缺少逻辑理解，很难从角色的角度出发补充内容。

……

生成式大模型带来了曙光

1.强大的语言理解能力：能够理解和生成自然语言，处理各种自然语言任务，如文本生成、知识问答、推

理计算等。

2.通用性强：大语言模型对多种任务具有惊人的泛化能力。同一个模型可以用于文本生成、文本分类、

代码生成和代码理解等任务。特别适合复杂场景。落地时不需要再从训练模型开始，减少了针对不同任务

分别训练模型的需求。

3.学习能力：可以在没有任何样本的情况下，仅通过在输入中给出描述就完成特定任务，或者通过很少

量的样本来进行微调。而传统的机器学习模型往往需要大量样本才能达到良好效果。对于代码评审这样的

特定任务，我们可以通过微调大模型来达到很好的效果。

4.实验成本低，落地成本低：以往模型训练的过程或者算法实现的过程变成Prompt的调试，不需要过多

的技术背景，人人可以上手。

5.自然语言交互：大语言模型可以生成连贯、准确的人类语言，因此非常适合用作聊天机器人、智能助

手或其他自然语言交互的应用中。传统的机器学习模型在这方面通常需要额外的处理步骤，且效果较差。

……

生成式大模型让产研同学使用Prompt配合熟悉的工程化方案，就可以快速完成复杂的任务，完成智能化的落地。

解决方案

•产品思考

•交互设计

•如何快速落地

•整体架构

•意图层

•引擎层

•性能