手机客户端多级发布体系及云分析测试系统.pptx

移动客户端多级发布体系及云分析测试系统目录?? 移动应用现状?? 移动应用质量保障的挑战?? 赶集网移动应用质量保障体系?? 整体架构及应用流程?? 关键系统介绍移动设备碎片化操作系统多重长尾来自于赶集的数据3401 厂商20370 型号416 分辨率烧钱的时代高昂用户获取成本质量－－关键指标 62% 遭遇过crash 47%遇到过加载 慢 26%因质量问题 差评 79% 首次使用卸载O2O产品特性地理位置支付流程场景快速发布传统的质量保障流程 ??开发成为流程 关键路径 ??开发资源占用 ??人为缺陷??人工发布??线上监控缺失??用户反馈收集 成本较高开发代码提交手工打包测试发布??流程效率瓶颈??测试方法低效单 一??非功能质量缺陷??代码及工程缺 陷??前后端联调困 局移动应用质量保障的挑战节奏变快，压力变大需求及市场运营层面对研发体系提出了更高的要求 ? 复杂度增加 相对于传统的移动应用，O2O 的应用场景使得功能测 试的复杂度增加项目难度及成本增加剧增的终端设备、系统类型，使得非功能测试的成本及难度都成倍增加 ? 非功能功能无线质量保障分层体系线上质量服务灰度数据分析GRAY ?RELEASED线上质量分析QUALITY ?ANALYSIS BigData Service 线上缺陷监控 ONLINE ?MONITOR Cloud Monitor Service功能性自动化 第三方服务 CLOUD 3rdParty Service ?Provider非功能性自动化接口自动化API ?AUTOMATION核心功能自动化UI ?AUTOMATION兼容性测试COMPATIBILITY稳定性测试STABILITY性能测试PERFORMANCE测试流程自动化构建中心持续集成测试打包缺陷检测渠道打包 流程控制渠道包校验 敏捷支持自动发布缺陷管理架构拓扑图接口自动化平台构建中心SDK平台线上监控平台接口维护订阅实时统计Api提交集群线上监控订阅服务负载均衡任务队列Svn/git离线统计接口测试框架策略服务dbios集群Android集群持续集成Open api离线聚合分析平台在线调试报警服务hadoop集群渠道证书 维护编译配置sdk植入check indaily build build反解混淆分析服务Case维护编译打包静态扫描信息存储质量跟踪测试回归线上监控稳定性报告性能报告测试包处理渠道包校验功能非功能jira自动化平台缺陷报告 设备中心度量分析任务调度Case中心平台间数据流平台内数据流线下bug数据流Device master功能报告线上问题数据流质量报告数据流线上监控测试回归包验证报告质量效率报告分层体系下的流程实践开发?Story测试?集成测试?内测/灰度?发布??? ? ? ? ? ?自动发布 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 测试包推送 效率提升 ? ? ? ? ? ? ? ?STORY功能验证 ? ? ? ? ?一键内测/灰度 ? ? ? ? ? ? ? ? ? ? ?灰度质量报告?? 接?口? ?自动化? 接口测试前置 ? ?服务端bug ? ? ? ? 缺陷扫描 ?bug ? 次构建 ? ? ? ? UI ?自动化?核心功能自动化回归 ? min／1次提测 ? ? ? ? ? 集成功能验证 ? ? ? ?????30%90????600%????1 /521%功能性bug73% 准入测试 (70%自动化)45%提测质量提升4%功能性bug11%非功能性bug线上监控 95% 质量报告线上问题 专项自动化测试89%非功能性bug功能性bug构建中心400%40+效果提升小时/版本??测试包推送??灰度、渠道包自 动验证 流程支持 编译??一键内测/灰度??iOS内测解决方案 500%效率提升 ??渠道维护 ??自动发布 存储2.13人天/版本??工程缺陷检测??释放打包人力??测试包推送??混淆文件关联??代码版本信息关联??SDK套件植入及状 态配置自动化测试平台SDK测试套件非功能自动化方案 82% 兼容问题减少 30% 性能提升75%ü? 稳定性提升非功能自动化之crash分析服务(1) 混淆文件 代码信息 构建中心 tag开关SDKBug系统线上Story测试集成测试灰度发布用户功能 monkey功能用户分析平台Story测试报告集成测试报告灰度监控、标准判断、报告线上监控、报告监控系统非功能自动化之crash分析服务(2) 数据需求 ?? 线下数据实时?? 问题宏观统计?? 性能数据均衡 分析平台 控制系统 数据项开关 用户精准控制?? 线上监控实时?? 线上概览实时 实时计算 非线上数据 指标统计数据 列表数据?? 问题定位效率??