在产品中进行软件测试.docVIP

在产品中进行软件测试 先发布，后测试?? (TESTING IN PRODUCTION) 欧阳??辰 2015.03 ????目录 ?? 质量和测试 ?? 什么是在产品中测试 ?? 产品中测试的实践 ?? AB测试 ?? 灰度发布 ?? 主动监测和被动监测 ?? ??生产环境中的性能测试 ?? 代码注??入和??用户反馈 ?? 测试的进化论 ??一些你也许知道的事情。。。 ?? Alberto Savoia 2011, GTAC 1) 做正确事情 VS 正确的事情 为什么微博是140个字？ 为什么搜索引擎总是返回10个结果？ 2）构造原型 (Pretotype V.S Prototype) 尽早失败， 常常失败 95% 移动应??用不能盈利！ 80% 创业公司失败 “测试已死” 什么是质量？ 什么是测试？ ?? 质量是??用户体验，提供??用户价值 ?? 质量是经济竞争性 ?? 质量 ?? 代码覆盖率 ?? ??用例??自动化率 ?? 缺陷数量分布 ?? 响应时间 软件 ! 服务 ?? 测试是为了发现程序中的错误??而执??行 程序的过程 ?? 《软件测试的艺术》1979 ?? 确保软件是保证??用户需求的程度 ?? IEEE ?? 质量度量和缺陷预防 ?? 最??大程度和最快速度满??足客户的需求 测试架构—集成测试环境 ?? 投资回报率(ROI) ?? 规划和管理 ?? 更新频率 ?? 开发amp;测试 ?? ??一些好的实践 ?? 集成环境变化记录 ?? ??大规模数据 ?? ??一次集中??一个环境 开发环 境 单机版 One Box 集成环境1 ….. 产品环境镜像?? Clone of Production + + 集成效果 维护成本 在产品中测试 基于数据的决策制定 基于数据的测试 有价值的功能 产品中测试 ??用户 ??生产系统 什么是产品中测试？ ?? 通过使??用真实的??用户数据，在??生产环境中进??行的测试活动，从??而发现 产品中缺陷，获得??用户反馈，改进产品 ?? 产品中测试是??一套开发技术: 开发理念，降低??风险，??用户驱动等，设 计结构 ?? 它是产品测试的??一部分 ?? 改进的??工程：更好的代码注??入，??用户反馈，可测试性，灰度发布等 ?? 通常??用于??面向服务的软件测试 质量评判---》 质量提升 测试 质量评断 发布 产品中测试 产品指标分析 继续产品中 测试 度量的??力量 发布 （新功能，修 复缺陷） 监测+指标 如何量化??一切 产品中测试的概念 灰度发布 A/B测试 Beta/RC测试 ??生产环境中性能测试 真实??用户数据 ??大数据分析 产品关键指标 灾难演习 产品持续测试、监测 代码注??入 ??用户实验 ??用户反馈 主动/被动监测 产品中测试的流程 单元测试 功能测试 集成测试 性能/扩展性测试 监测，指标探索测试 发布前 发布后 发布! 指标提??高 代码注??入开发 需 求 质量存于??大数据中 ?? ??大数据 ?? 数据量：MB! GB! TB!PB! ExaByte ?? 速度：流式数据 ?? 多样性：??无处不在的计算, 结构化，??非结构化等 ?? 数据是产品的重要部分 ?? 机器学习 ?? 数据--》信息--》知识 --》智能 AB测试 ?? 随机的流量分配 ?? 按照??用户分配 ?? 按照请求分配 ??A/B ?? A 控制流量（Control) ?? B 治疗流量 （Treatment) ?? 结果分析 ?? 收集所有指标，各种Slices ?? 分析 13 Control: 已有系统 Treatment: 系统+新功能 50% ??用户 50% ??用户 ??用户交互，代码注??入，数据收集，处 理 数据分析，??比较，结论 Microsoft Confidential ??一些AB TEST 例??子 主要指标 点击率 A: B: 14 具体分析包括很多其他指标 停??止猜想，让数据说话 AB测试的平台??支持 ?? 需要平台??支持 ?? 流量分配 ?? 实验管理 ?? 代码注??入 ?? ??日志分析和处理 ?? 快速发布和回退 例??子 1）Google AdSense A/B Testing （Link) 2) Facebook Mobile A/B Testing framework (Link) 3）阿??里UX A/B Testing 介绍（Link) 数据挖掘: 拼写检查例??子 Some Top Results 16 Query Correction Clicks Keep Origin al Make Correctio nyah yahoo 99.8% ?? fasfa fafsa 90.5