Web页面分层交叉实验.PDFVIP

Web页面分层交叉实验 陈东（易之） 天猫-产品技术部 Web页面分层交叉实验 目录 • Web页面实验与流量 • 单层实验的流量问题 • 分层交叉实验方案 • 关键技术实现 • 系统已有功能 • 后续进阶功能 • 讨论 Web页面分层交叉实验 Web页面实验与流量 • 实验 – 是对方案之间效果的评测比较，典型的实验场景有 ① UI元素的变动 ② 页面的改版 ③ 算法逻辑的调优 A/B? – 由实验效果决定 • 流量 – 指用户到Web页面的访问量，实验的效果需要累积流量到一定程 度才能有效体现 流量是宝贵的资源，是有限的 Web页面分层交叉实验 单层实验的流量问题 实验页面 • 将页面流量划分到N个桶 • 优点：分桶间流量完全 区块1 区块2 隔离，互相无干扰 • 缺点：不同区块/层次无 法独立进行实验，流量 区块3 的利用率低 • 实验多时，流量不够用 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Web页面分层交叉实验 分层交叉实验方案 • 要点和目标 – 分层并行做实验，通过层与层之间流量共享提高流量利用率（借 鉴Google的成功实践经验，见Google论文： 《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》） – 流量隔离+流量离散，降低不同层之间实验的干扰度 – 目标用户条件设置，更细粒度的实验目标用户筛选 – 应用间流量对应，实现跨应用的流量对应，进而做关联实验 – 实验信息埋点，将流量效果对应到实验 Web页面分层交叉实验 分层交叉实验方案 • 分层并行做实验 – 对于一个业务页面的可变因素参数化，从业务上或逻辑关系上将 参数划分为相对独立的多个部分，每个部分定义为一层 – 层与层之间可并行做实验，实验包括层参数值和目标用户的设置 – 流量进入页面后穿过各层，可同时穿过各层的实验，实现共享 Web页面分层交叉实验 分层交叉实验方案 • 页面分层示例 Web页面分层交叉实验 分层交叉实验方案 • 隔离+离散 – 对每个应用，建立流量区域划分： – 隔离区和并行区之间的流量是被隔离开的，流量比例可自行确定 – 基准桶：用于统计基准数据，不放置实验 – 隔离区：用于精确测试单个实验的效果 – 并行区：用于最大程度地支持更