蚂蚁精细化测试体系建设-飞麦_1122.pptx

蚂蚁金服精细化测试体系建设 蚂蚁金服工程效能部： 朱建华（飞麦） 蚂蚁金服 目录 蚂蚁金服测试现状 蚂蚁精细化技术底盘介绍 蚂蚁工业级精准测试方案介绍 蚂蚁金服精准化测试成果探讨 精细化测试方向展望 蚂蚁金服 蚂蚁现状 业务高速创新 规模庞大 支付 10+BU 600+产品 代码行 银行 财富 保险 … 百亿 万级 千级 微服务 应用 蚂蚁金服 测试现状 高度创新 测试规模庞大 多层次 单元测试 接口测试 域测试 端到端测试 复合技术 junit testng-x 5+ …… 录制回放 4+ …… 用例 代码提交 执行量 各种自研框架 8+ …… 百万级 百万级 十亿级 蚂蚁金服 思考 越来越复杂，最后一根稻草或早或晚总会出现，怎么解？ 蚂蚁金服 技术深化 精细化 蚂蚁解法探索： 蚂蚁金服 终端 数据层 CI集群 CI环境 平台 能力 环境数据 环境适配 高可靠 开发环境 测试环境 预发布环境 灰度环境 线上环境 终端 数据层 用例数据 源码数据 配置数据 链路数据 覆盖率数据 核心层 链路还原 环境适配 链路去重 基线维护 字节码注入 业务识别 产品层 精准测试 流量清洗 用例维护 覆盖率产品 精细化底盘codecompass介绍 蚂蚁金服 codecompass核心能力 1. java指令级别操作技术，无缝映射到源码 精细到 执行时序的行级别链路 精细化 2. classloader隔离，故障隔离 . 高可靠 3. 服务端分布式高并发，单机3000tps， 横向扩容，理论50wtps峰值 ， 高可用 4. 数据层实施数据100TB, 离线数据无限扩容 大容量，可扩展 5.深度感知和兼容junit和testng测试框架， 深度兼容各java开发框架 业务深度融合 核心技术能力 蚂蚁金服 codecompass 调度平台 CI执行机 代码门禁 代码库 代码变更 决策执行用例 精准执行 精准测试技术方案 核心技术： 用例unique id 生成技术 用例筛选执行技术 核心技术： 测试基线生成技术 用例推荐算法 非代码改动影响分析技术 代码提交 蚂蚁金服 精准测试成果分享 263应用 全量用例： 几点心得： 1.精准测试能够极大提升执行效率 2.对于用例不稳应用， 降噪效果很好 3.精准，增量方式可以引起量变到质变 能促进我们研发模式改变 90191 减少83%蚂蚁金服 工业化应用方案介绍 用例清洗方案 线上流量 录制回放 线下回放 codecompass 上层应用： 线上流量精简生成用例库 线下各种用例的打通，优化 其他更多： 用例故障自动定位 用例有效性 蚂蚁金服 工业化应用方案介绍 线上精细化引流 指定流量 引流 可持续：人工引流——线上灰度全自动 线上引流精细化 业务区分 codecompass 流量映射 清洗模型 蚂蚁金服 工业化应用方案介绍 持续联调方案 蚂蚁金服 精细化体系介绍 合并评估方案介绍 蚂蚁金服 实施过程中一些思考 业界精准测试为什么没有成功应用？ 技术： 技术方案存在缺陷（收集单个用例覆盖率，静态调用链分析） 工程能力： 可靠性存在问题（存在漏测，系统可靠性大数据处理存在问题） 工具生态： 将精准测试执行=精细化 ， 工具缺少普适性， 缺少工具链支撑 蚂蚁金服 实施过程中一些思考 精细化底层能力积累更加重要，技术选择决定上层产品 质变 到 量变 精细化 需要放到全生命周期，有评估和执行的精细化能力，更加要有合并评估和分析能力 精准成功几大关键因素： 技术能力 工程能力