百度探索性测试工程化实践(chinatest 2012演讲版.pdf

百度探索性测试工程化实践 董杰 个人介绍 • 董杰（架构师Jack ）现为百度软件测试架构 师，爱好软件测试创新和分享。从事过自 动化测试、性能测试、可靠性测试、可测 试性设计、安全性测试、缺陷预防、探索 性测试等相关工作；拥有电信级嵌入式软 件、存储软件、分布式系统、互联网搜索 软件和应用软件领域的测试经验。 关键字 漫游测试 代码覆盖率 落地 探索测试 效率提升 快速测试 工程化 质量提升 为什么我们需要探索性测试 收益 • 提升质量——减少漏测 • 提升质量——代码覆盖率 如何落地 • 提升效率——更快地完成测试设计 • 提升效率——更快地完成测试执行 • 提升效率——降低测试成本(维护成本） 需要解决的问题 • 探索性测试测什么？ • 从哪里开始测试？ • 如何进行测试？ • 我们怎么知道已测试了哪些方面，还有哪些方面没有测试？ • 如何保证知识的可延续性 • 如何让测试人员掌握探索性测试的技能 • 如何通过探索性测试提高测试效率 • 如何评估探索性测试的全面性 百度探索性测试工程化体系 摘要 • 百度探索性测试应用效果 • 百度探索性测试分层 • 百度探索性测试工程化工作流程 • 百度如何训练探索性测试人员 探索性测试应用效果(Web应用成熟度A级) 探索性测试方法有效性 ET方法发现83.5 ％Bug TOP5 ET方法所占ET总bug比例43/76= 56 ％ 探索性测试应用效果(客户端软件成熟度C级) 探索性测试方法有效性 ET发现49.1 ％Bug TOP5 ET方法所占ET总bug比例21/53=56% 探索性测试应用效果 • 提升效率 RCA: 提高测试时间利用率 RCA-CR: 缩短测试时间 RCE模式: RCA+CR+ET ET: 快速测试设计和有效测试执行 传统测试模式 探索性测试模式 探索性测试的好处 学习需求 学习需求 学习设计 学习设计 准备预测试用例 无 漫游测试依赖的是活动指 准备基本验证用例 无 导而不是文本用例，所以 不用去编写文本用例 评审基本用例 无 准备复杂测试用例 探索性测试设计脑图 文本编写工作量更少 评审复杂测试用例 评审探索性设计脑图 依赖设计模板和设计约束 评审时间更短 执行预测试用例和基本 执行漫游测试活动 1 ：达到代码覆盖率的时间 测试用例 更少 2：漫游测试执行时间更少 3 ：减少代码重复覆盖的测 试活动时间 执行复杂测试用例 执行探索性测试场景 有着丰富的