互联网计费的高一致性质量保证.docxVIP

互联网计费的高一致性质量保证 腾讯计费平台部 朱志杰 2015-07 1/47 个人介绍 ? 朱志杰 zukizhu ? 腾讯计费平台部测试平台组 ? 专注后台测试工作 ? 2年华为智能网平台 ? 7+年腾讯计费平台 2/47 时下的互联网计费 第三方支付 银行 P2P 虚拟支付 微信支付 Q币Q点 财付通 微众银行 陆金所 facebook 支付宝 网银 红岭创投 credits 快钱等 3/47 质量挑战：几个案例 4/47 测试面临的挑战 质量优先 效率也要跟上 ? 容灾: 主备、跨城 ? 快：迭代、性能 ? 安全: 漏洞 ? 准：准时、计费准确 0.8% ? 数据一致性：对账、结算 ? “很”：很高的漏测率要求 ? 健壮性 5/47 我们的测试实践 全员参与 防胜于治 价值驱动 快速验证 6/47 全员参与 流程 “正确地做正确的事” 意识与文化 “计费你我他，安全靠大家” “安全运营，安心喝咖啡” 7/47 防胜于治 8/47 测试先行的关注点 可测试性 性能指标 功能优先级 风险预警 需求特性及相关性 9/47 测试先行的技术支持 测试前置 静态测试: 代码扫描(语法逻辑、安全函数) 动态能力: 自动化冒烟测试(P0级用例)、安全扫描 10/47 静态扫描平台 PclintCPPCheck、 Findbugs 与IT流程无缝对接，版本转测即启动自动扫描，输出报告！ 100%覆盖日常版本测试 11/47 精准测试 1、精选错误码 – C/C++错误码 错误类型 错误码 内存泄露 423，424，429，1540，449，672，673，433，593 数组越界 415，416，661，796，797，662，676 空指针使用 794，448，413，668，663，613 锁错误 454，455 高危函数 10000 其他 414（被0除）578（全局变量和局部变量同时存在）534（忽略函数返回值） – JAVA错误类型 错误类型 Correctness Multithreaded correctness Bad practice 、 Dodgy code 、 Performance 、Security 、 Internationalization 、 Malicious code vulnerability、Experimental 2、针对迭代版本增量扫描 通过针对扫描结果进行对比筛选 12/47 应用效果 13/47 动态能力 腾讯安全扫描平台： fuzz testing！针对xss、sql注入等漏洞进行精确探测。 漏洞模型库持续丰富 冒烟测试：自动化 P0级用例 14/47 安全扫描 15/47 价值驱动 用例 精简 16/47 用例精简 17/47 用例精简 关注测试点，侧重思路 用例图形化 – 思维导图 – 鱼骨图 18/47 测试点 19/47 思维导图 20/47 分层测试 测试要有多充分？ 明确目标 21/47 分层方法:需求侧 按发布版本特征 按特性层级覆盖 按有损服务特征 22/47 分层方法:系统侧 ? 解耦 ? 服务独立性 23/47 做自动化测试划算吗 24/47 看两个数据 应用比例90%+ 回归测试/兼容性测试上价值大！ 25/47 自动化测试层次模型 产品测试阶段能发现的缺陷数占总缺陷数的20%-30%但修复成本最高 建议：单元测试自动化，由开发实现并维护 26/47 计费的后台自动测试化平台 ? 数据驱动模式 ? 模块化设计： 初始化、执行调度、结果检查分别为独立模块 ? 同步与异步结合： 处理性能、关联查询 27/47 28/47 与现网相结合改进测试 现网流量 A/B test 29/47 准现网测试平台 ?TcpCopy ?抓入口 30/47 监控式测试 31/47 移动端：米兔测试平台 For Anroid 基于QQDriver 32/47 移动端：米兔测试平台 33/47 快速验证 ?腾讯海量服务之道：灰度验证 ?产品验证：A/B test 纬度：号段、业务类型、渠道等 34/47 线上流量实时分析 流水集中 场景收敛 静化用例 ? TDW数据仓 ? 渠道 ? 现网实时检 库 ? 业务 查 ? 转自动化用 例 35/47 基于实时交易逻辑分析的泰戈平台 36/47 试用效果: 10分钟覆盖分析95%流量！ 37/47 无所不在- 贯穿整个研发流程 需求/设计 编码 迭代/测试 灰度验证 发布 ?评审参与 ?静态扫描 ?自动化平台 ? 发布评审 ?安全扫描 ?准现网 ? 泰戈平台 ?米兔平台 事件 漏测率 ? 关键点：产品体验、冒烟测试、灰度验证 crash率 关注核心输出：设计文档、数据结构、测试报告、测试用例 抓关键事项：需求方案评审、发布评审 38/47 更多