- 1、本文档共23页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
质量大模型及其在接口测试场景下的实践李庆泉蚂蚁集团
1.大模型如何解决质量域问题2.质量大模型的构建路径3.质量大模型在接口测试中的实践4.未来展望目录CONTENTS
PART01大模型如何解决质量域问题
软件设计?原型图环境搭建?依赖树软件开发?类与函数质量测试?验收测试?UML图?版本冲突?数据结构?单元测试?流程图?……?复杂度?Bug处理?……?……?…… 大模型具有赋能软件研发全流程的能力LiB,WuW,TangZ,etal.Devbench:Acomprehensivebenchmarkforsoftwaredevelopment[J].arXivpreprintarXiv:2403.08604,2024.需求文档(PRD)软件
测试用例生成故障定位/修复测试断言生成质量知识查询问答测试输入生成……线上问题总结分析WangJ,HuangY,ChenC,etal.Softwaretestingwithlargelanguagemodels:Survey,landscape,andvision[J].IEEETransactionsonSoftwareEngineering,2024. 大模型在质量域下的应用场景
大模型能够解决质量测试领域的哪些问题?自动化难度大经验密度大、业务特异性高,难以自动化或手段难复用覆盖率要求高全面、准确地发现各种特殊情况与边界问题人工成本高测试用例撰写、质量问题分析等工作需要大量人工能力领域知识注入多任务能力获取拓宽应用边界阶段继续预训练微调/对齐对话/服务1严谨、全面2知识、经验质量测试
执行中心基础质量概念问答端到端任务执行……服务中心质量工具调度外部知识增强问答…… 质量测试领域呼唤质量大模型语言理解质量知识业务经验LLMsasBrains知识中心……
PART02质量大模型的构建路径
ContinuePre-trainingInstructionTuning专业知识注入语言模型多任务能力Prompt设计非结构化数据结构化数据质量知识业务文档线上系统回流历史数据沉淀评测指标问题归因数据飞轮端到端对话检索增强问答工具调用与执行 质量大模型的构建路径清洗与增强模型训练部署应用数据构建更新迭代
训练材料:知识构建训练对象:开源模型底座知识处理切片聚类数据增强知识质量筛选清洗数据分析知识来源质量域业务域其他背景训练任务:语言模型 继续预训练——知识注入*不完全列举
指令微调——技能培训关键问题:质量域中的许多任务都是以结构化数据为基础,如何用基于非结构化对话形式的大模型完成结构化数据任务?——解法在于如何针对特定任
文档评论(0)