原玉娇-大模型在端到端交互测试的探索与实践.docx

大模型在端到端交互测试的

探索与实践

原玉娇贝壳找房

演讲嘉宾

原玉娇

贝壳找房技术效能-质量架构团队负责人

北京理工大学硕士毕业，曾就职于滴滴，目前在贝壳担任架构师，负责大

模型技术在测试域企业级的工程化探索和应用，基于“产研域提效场景+领域知识+AIagent”在垂直域实现大模型能力延伸，包括测试需求分析、测试用例自动生成、缺陷追踪和智能定位等，优化协同流程机制、助力业务快速迭代从而提升自动化产能。

1.背景

目录CONTENTS

目录

CONTENTS

3.解决思路/整体方案

4.具体实现/技术实践

5.总结与展望

PART01

背景介绍

业务介绍

一站式居住服务平台，

一站式居住服务平台，涵盖二手房、新房、租赁及家居装修等业务

贝壳appA+被窝appWeb类产品

业务介绍

整体

整体特点

?多角色协同权限管理

?多角色协同权限管理

场

场景驱动

协同增效

?业务场景复杂?个性化智能化匹配

模式探索技术创新数据洞察

模式探索

技术创新

PART02

问题和痛点分析

痛点分析-传统

需求驱动

多角色串行协同

AI提效应用难点分析

问题：质量域工具有细分，多类别多领域，覆盖前端、后端、环境、数据、自动化等业务多元化导致工具实现比较复杂，工具人的维护成本都很高

工具如何结合

?识别哪些工具可以与AI结合

?传统工程开发与AI如何结合

?AI如何增强测试能力

挑战关注用户体验?用户问题如何准确触达对应

挑战

关注用户体验

?用户问题如何准确触达对应的智能体，降低体验损耗

?上层：如何扩展和适应变化

?底层：原子基建能力如何支撑

PART03

大模型在端到端测试探索进阶之路

演进过程

AI加持下，个人效率提升到协同成本降低的路径

2023年2024年

copilot方式-实现个人提效极致应用

【解决方案】CUI\对话、多入口、agent化的形式即时触达，和测试行为紧密结合，利用模型意图识别能力和决策执行的能力完成各类各项测试任务

对话交互式应用举例

与之而来的新挑战

AI工具那么多，我该用哪个？【单点提效--交付提效】

”

演进-agent模式驱动全流程协同增效

需求驱动测试，通过多个智能代理（Agent）的合作，基于自然语言描述，自动化的进行从交互到检查的全链路测试过程

变化

变化

整体方案设计思路

端到端全链路智能化测试能力牵引测试模式迭代

AI化标准化灵活应用扩展

AI化标准化

测试策略生成UI端测试提效

核心思路以智能应用为底座，质量基建更新换代，建立标准和作业流程创新实现生成力提升智能验证服务端agent……

核心思路

以智能应用为底座，质量基建更新换代，建立标准和作业流程创新实现生成力提升

智能验证

端到端测试效果智能化分析

能力建立

PART04

技术实践

实现核心技术点

agent智能体

创建助手（Assistant）

?给它特定场景的工具（Tools）

?提示它如何使用工具如何思考执行（Prompt）

提问（Question）

?可以把问题丢给它（Question）

推理解决（Answer）

?由它自己运用通用知识结合手上的工具一步步将问题拆解

（AutoPlan-Answer）

建立模型工程标准化基建，重塑测试工作流程

需求澄清分层/动态prompt

需求澄清

测试策略

结果多维

结果

多维

度评

估

需求独立智能体智能调度

需求

独立智能体

流程自动化/接口

结果分析

UI自动化/交互

知识

agent

agent智能化

需求端|测试策略生成实现测试分析和设计标准化

agent模式+开放能力

agent模式+开放能力

基于assistantApi，以需求作为原点，实现测试策略生成，包括需求澄清、风险关注、测试建议等，沉淀领

域工具先提供全景画像辅助用户选择用什么、指导测试实践、加速岗位认知，同时通过开放能力实现业务

小工具开源共建，旨在构建一个更加高效、协同的测试知识生态

服务端|与传统工具深度融合

与传统软