AI赋能微博广告业务测试突破探索与实践.docxVIP

AI赋能微博广告业务测试突破探索与实践

刘羽｜新浪微博、资深测试开发工程师

刘羽

新浪微博资深测试开发工程师

微博质量保证部资深测试开发工程师，拥有11年后端测试开发经验，现负责微博广告投放引擎测试工作。擅长数据驱动的自动化测试框架设计，深入探索质效提升路径。目前学习AI工具在质效提升方面的应用，专注评测智能方案在实际业务场景中的落地效果与可行性。

目录

CONTENTS

01

微博广告业务背景及传统测试方法局限

02

AI参与微博广告业务测试变革

03

AI赋能微博广告业务测试突破

04

未来展望

PART01

微博广告业务背景及传统测试方法局限

微博广告业务背景及传统测试方法局限

1.广告业务介绍：

微博广告业务背景及传统测试方法局限

2.微博广告业务介绍：

微博广告业务背景及传统测试方法局限

需求高频迭代人员培养周期长机械性工作多业务耦合严重

需求高频迭代人员培养周期长

外部辅助工作多

碎片化工作时间用例设计不全

碎片化工作时间

降本增效的今天，如何保证质量、提高效率？

PART02

AI参与微博广告业务测试变革

AI参与微博广告业务测试变革

人工智能技术架构演进：从基础模型到多智能体协作体系

AI参与微博广告业务测试变革

智能体参与的软件测试全流程架构：从需求到上线的自动化与协同测试体系

AI参与微博广告业务测试变革

1、广告智能体应用

目标：全流程测试中嵌入智能体能力；打破流程壁垒；提升测试效率与质量

AI参与微博广告业务测试变革

MCP协议赋能AIAgent全链路协作

AI参与微博广告业务测试变革

1.广告业务测试智能体应用-应用示例

AI参与微博广告业务测试变革

2.AI辅助测试用例生成

AI参与微博广告业务测试变革

2.AI辅助测试用例生成

模型+知识

模型+知识图谱增强RAG检索召回率40%-

AI参与微博广告业务测试变革

2.AI辅助测试用例生成-应用思考

1、生成的用例是否与业务相关？

1、生成的用例是否与业务相关？

2、生成的用例是否全面覆盖业务逻辑？

3、生成的用例测试点是否准确？

4、生成的用例是否冗余？

业务方使用测评

?知识库的召回能力

?用例生成的采纳情况

AI参与微博广告业务测试变革

2.AI辅助测试用例生成-知识点召回能力测评

问题:预期结果:来源

AI参与微博广告业务测试变革

2.AI辅助测试用例生成-知识点召回能力测评结果

?325个查询问题中，309个被成功召回，召回率：95.1%

?16个未召回的问题中，真实未召回问题个数为13个，占比：81.25%，脏数据条数为3个，占比：18.75%

?49个关联关系中有39个被精准召回，GraphRAG联想召回率：79.6%

AI参与微博广告业务测试变革

2.AI辅助测试用例生成-用例生成能力测评

AI参与微博广告业务测试变革

2.AI辅助测试用例生成-用例生成应用遇到的问题

原因：业务范围太大

原因：业务范围太大

解决：业务范围圈定，限制联想能力泛滥

原因：业务迭代版本混淆

解决：增加知识库业务迭代版本管理

原因：大模型对于不理解的概念在瞎掰

解决：提示词能力限制+知识库知识点优化

用例功能溢出

例功能覆盖失效0102用

例功能覆盖失效

用例有幻觉03

用例有幻觉

04用例功能覆盖不足

04用例功能覆盖不足原因：大模型业务理解能力有限

05用例冗余原因：生成用例角度宽范

解决：prompt限定用例生成角度

解决：知识库业务知识点完善

易客诉+钱AI参与微博广告业务测试变革

易客诉+钱

3.AI辅助线上广告行为监控-广告线上问题分类

01

02

03

04

效果问题

投放问题

功能类问题

样式问题

转化率少

定向不准

报表数据异常

样式不符合预期

互动率少

数据包未生效

打不开落地页

ROI数据不理想

数据回传问题

链接无法跳转

消耗跑太快

转化联调

广告无消耗

表单落地页问题

AI参与微博广告业务测试变革

3.AI辅助线上广告行为监控-实践

效果类问题：

转化率少

互动率少

ROI数据不理想消耗跑太快

广告无消耗

行为码监控纬度：行为+场景+投放端

行为上百