全文可编辑-人工智能行业市场前景及投资研究报告：AI+研发，AI生成checklist QUNAR测试域结合AIGC提效实践-worldreportmarket.ppt

AIChecklistQUNAR测试域结合AIGC提效实践

1.背景目录2.设计思路和方案3.效果评估方案4.成果及未来计划CONTENTS

PART01背景

全流程结合AIGC提效AI代码可视化AI生成Checklist通过AI生成代码流程图AI生成测试点列表需求域开发域测试域运维域AIagent智能体平台AIIDE插件AIOPSAIchat根因分析代码生成，代码CR工单自动化

现有痛点需求沟通效率低PM/DEV/QA三方沟通平均耗时30min-1h1写checklist耗时自测自发不写case平均耗时：32开发自测可能不充分5pd以下需求1-2h5pd以上需求3-5h机票自测自发比例86%4需求文档质量参差不齐逻辑清晰，沟通效率高逻辑混乱，沟通效率低无评估标准，只能凭感觉

用大模型生成checklist的好处提升QA写checklist的效率提升自测自发需求质量可以检查需求文档的质量fromtofromto质量好：质量差：

设计关键点01准确度提升0203覆盖度推广效果度量方案

PART02设计思路和方案

业界参考样例基于自有大模型及微调的一键生成方式基于通用大模型多轮问答的方式门槛高、成本高、需要数据积累有迁移、整理成本

Qunar探索的解决方案主要（便捷）：基于通用大模型+聚焦于需求点+集成项目研发流程中的一键生成方式辅助（灵活）：智能体多轮问答

系统架构

执行流程1.获取需求文档，对文本进行拆分2.结构化文档+prompt向大模型提问3.将AI返回的测试点进行转换，渲染为脑图4.归档AI生成与手动修改完的case，分析数据

产品文档预处理原因分析：解决方案：?需求文档无固定模板，规范性较低?需求文档中的无关内容影响生成效果?需求文档预处理，提取需求正文?拆分需求正文，获得结构化需求点

文本解析模块符合标准格式：?工程化解析需求正文及需求点列表?生成准确率高问题：?对产品角色要求变高?QA角色获益?推进受阻

文本解析模块圈定需求正文：?大模型解析需求点列表?预处理成本低?生成准确率高

文本解析模块完全无格式：?大模型解析需求正文?大模型解析需求点列表?生成准确率取决于文档内容密度?句话需求

需求分析模块keyMessage：需求点关键信息testPoints：测试点列表testDescription：测试点概述example：示例

需求分析模块——prompt设计角色能力测试专家1，提取需求点文本的关键信息2，给出测试点列表和示例语言分析专家样例规则通过history模拟1.关键信息只保留一句精炼的概括信息2.每个测试点对应一个示例3.以JSON格式输出Fewshot的方式来提升回答的准确率

需求分析模块——LLM选择AI基建情况外部大模型?安全审核?接口统一化内部大模型微调?小参数的开源大模型?机器显卡有限?缺少标准数据集指标\LLMGPT-4-turboGPT-3.5chatGLM3-6B采纳率60%-70%50%-60%30%-40%20%-30%0（采纳case数/?成case数）召回率30%-40%25%-30%（采纳case数/终版case数）成本0.0100$/1Ktokens0.0015$/1Ktokens

项目流程集成触发方式融入原本的通用case模板?项?管理流程??触发?checklist平台内?动触发?定时扫描第?天进?开发中的需求，触发?动?成checklistqschedule

样例展示

自测自发case前后对比使?AIChecklist前使?AIChecklist后

PART03效果评估方案

效果评估模块采纳率覆盖率原始生成结果中用户选取自动生成节点的概率按照项目维度统计用户使用情况项目覆盖率：使用的项目数/全部项目数采纳率：(T+0.5*P)/A0统计口径TPF完全可采纳节点数部分可采纳节点数完全不可采纳节点数A0自动生成总节点数A1终版checklist节点数召回率用户进行修改之后采用的自动生成节点与总结点数的比率召回率：(T+0.5*P)/A1

效果评估模块方案优点缺陷备注用户点击反馈实现简单，无需另外设计会增加额外的流程，提高用户使用成本。?可能影响项目覆盖率?可能影响统计效果字符串匹配用户无感知，对流程无侵传统数学方式的匹配，不Case1:密码正确时弹窗入。只需要有AIGC源数符合人修改checklist的使Case2:密码不正确时弹据和用户终版数据即可触用习惯，统计效果会较差。窗发效果评估。字符串匹配：87.5%基于Embedd