质量大模型及其在接口测试场景下的实践.docx

质量大模型及其在接口测试场景下的实践

李庆泉蚂蚁集团

目录

CONTENTS

1.大模型如何解决质量域问题

2.质量大模型的构建路径

3.质量大模型在接口测试中的实践

4.未来展望

PART01

大模型如何解决质量域问题

大模型具有赋能软件研发全流程的能力

需求文档

（PRD）

软件设计

?原型图

环境搭建

?依赖树

软件开发

?类与函数

质量测试

?验收测试

?

UML图

?版本冲突

?数据结构

?单元测试

?

流程图

?……

?复杂度

?Bug处理

?

……

?……

?……

软件

LiB,WuW,TangZ,etal.Devbench:Acomprehensivebenchmarkforsoftwaredevelopment[J].arXivpreprintarXiv:2403.08604,2024.

大模型在质量域下的应用场景

测试用例生成故障定位/修复

测试断言生成质量知识查询问答

测试输入生成……线上问题总结分析

WangJ,HuangY,ChenC,etal.Softwaretestingwithlargelanguagemodels:Survey,landscape,andvision[J].IEEETransactionsonSoftwareEngineering,2024.

大模型能够解决质量测试领域的哪些问题？

覆盖率要求高全面、准确地发现

覆盖率要求高

全面、准确地发现各种特殊情况与边界问题

人工成本高

测试用例撰写、质量问题分析等工作需要大量人工

经验密度大、业务

经验密度大、业务特异性高，难以自动化或手段难复用

1严谨、全面2知识、经验

阶段继续预训练微调/对齐对话/服务

能力领域知识注入多任务能力获取拓宽应用边界

知识中心质量测试领域呼唤质量大模型

知识中心

执行中心

……

LLMsasBrains……

LLMsasBrains

……

服务中心

……

PART02

质量大模型的构建路径

质量大模型的构建路径

评测指标问题归因数据飞轮

评测指标问题归因数据飞轮

端到端对话检索增强问答工具调用与执行模型训练

端到端对话检索增强问答工具调用与执行

模型训练

ContinuePre-trainingInstructionTuning

专业知识注入语言模型多任务能力Prompt设计

数据构建清洗与增强

数据构建

非结构化数据结构化数据

质量知识业务文