搜索特点与测试问题.pptVIP

搜索测试中的敏捷实践 陈鹏2011.10.21 目录 搜索特点与测试问题 我们的敏捷测试思想 测试项目的敏捷实践 效果与反思 搜索特点与测试问题 web spider Page Data index IndexDI Data searcher Client browser 搜索特点与测试问题 搜索产品的特点： 功能：GUI、相关性、时效性、召回率 升级：bugfix、feature、refructure、各类试验 稳定性：前后台、服务、收入、品牌 测试面临难题： 项目时间短，质量要求高 并行测试多，步骤协调难 效果与正确性难验证 仿真难度大 “深不可测” 我们的敏捷测试思想 测试的目的是什么？ bug，产品，进度，市场 敏捷是什么？ short circle, fast feedback,continous integration 测试如何应用敏捷 测试前推 测试精炼 One-box test 含义： 测试封闭在一台机器 所有类型用例放在一个发布包 单元 测试 功能 测试 性能 测试 稳定性 测试 code One-box test 架构： CI TXT PYUNIT UT case框架 case管理 One-box test 运行方式 CI 触发（daily build/chech-in build） 本地执行 应用效果 可接受性测试，80%~100% 基本功能测试，60%~80% 版本测试，一天完成 测试筛选 要筛选什么？ M条测试数据中，有多数条是作用重复的？ N个测试用例中，有多少个是无价值的？ X小时的测试中，有多长时间是无意义的？ 筛选基础 覆盖率（gcov） 系统场景（运维、机型、使用需求） 测试筛选 数据筛选 拆分数据集 运行单块数据 覆盖率有提升 加入最小数据集 是 否 测试筛选 用例筛选 code 1 code 2 code 3 code M case 1 case 2 case 3 case N 测试筛选 时间筛选 运行单块时间 覆盖率有提升 得到最短测试时间 否 是 第N次无提升 是 否 补充特殊 数据/操作 dryrun测试 系统架构 module1 线上环境 测试环境 运维操作 module2 module4 module3 module2 module3 tool dryrun测试 工具： branch：检索应用层，线上引流工具 tcpdump+sender：网络层，通用引流工具 middleman：模拟网络异常，模拟多后端 监控： 服务稳定性 性能监控 数据正确性 策略监控 效果与反思 敏捷需要全员参与 信息对等非常重要 基础架构稳定优先 效率提升永无止境