AB测试和灰度发布平台架构设计和实践.pdf

AB测试和灰度发布平台 架构设计和实践 1688技术部 欧舟（翰承） 2013.7.12 大纲  业务价值  系统设计  架构优化  QA AB测试介绍 AB测试 (A/B Test ) ，也称Bucket Test 版本A 版本B 转化率A 转化率B 业务价值  缩短测试周期  减少测试干扰 ，提高测试准确性和价值  减少用户伤害，降低测试影响 页面优化及改版方案评估决策 后台算法，引擎及业务逻辑优化 还有哪些公司在使用A/B测试？  Google  百度  微软  易趣  Amazon  BBC  迪斯尼  。。。 大纲  业务价值  系统设计  架构优化  QA 核心环节 运行 分析 分流 评价 记录 • 和业务系统高度耦合 • 缺乏通用性 • 过程繁琐 BucketTest系统介绍  阿里巳巳集团最主要的AB测试和灰度収布平台  中文站、国际站、阿里金融、天猫，淘宝，支付宝 （开 源）、一淘 （开源）等多个事业部  30多条产品线的200多个项目  多项核心技术 BucketTest系统案例 • 中文站举例 国际站举例 阿里金融举例 • Exodus系统会员登录 • 排序算法mlr升级 • 直投贷款 • 中文站首页改版 • magellan样式切换及改 • 老客户利率 • 人气搜索 版 • 订单贷款提前收款 • 321大促 • p4p广告算法升级及样式• 账务明细白名单名单 改版 • 云归项目 • 天猫订单未续签不准入 • 919大促 • 搜索样式、按地域实验 • 天猫个人担保名单 • SearchWeb2.0项目 • PPC右侧样式实验 • 集市信贷等额本金 • 服装和社区首页改版 • ae_style实验 • 集市信贷合并还款日 • 勃兰项目 • 1122大促活动 • 集市短期贷款测试名单 • winner项目 • 物流项目 • 订单息费模式白名单 • 服装行业年度盘点活动 • Supplier频道 一淘举例 • 搜索排序测量模型测试 • compare分流实验 • P4P精美广告投放