Web页面分层交叉实验.docxVIP

Web页面分层交叉实验 陈东（易之） 天猫-产品技术部 Web页面分层交叉实验 目录 Web页面实验与流量 单层实验的流量问题 分层交叉实验方案 关键技术实现 系统已有功能 后续进阶功能 讨论 Web页面分层交叉实验 Web页面实验与流量 实验 是对方案之间效果的评测比较，典型的实验场景有 ① UI元素的变动 ② 页面的改版 ③ 算法逻辑的调优 A/B? – 由实验效果决定 流量 指用户到Web页面的访问量，实验的效果需要累积流量到一定程 度才能有效体现 流量是宝贵的资源，是有限的 Web页面分层交叉实验 单层实验的流量问题 实验页面  区块1区块2将页面流量划分到 区块1 区块2 优点：分桶间流量完全隔离，互相无干扰 区块3缺点：不同区块/层次无法独立进行实验，流量 区块3 实验多时，流量不够用 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Web页面分层交叉实验 分层交叉实验方案 要点和目标 分层并行做实验，通过层与层之间流量共享提高流量利用率（借鉴Google的成功实践经验，见Google论文：《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》） 流量隔离+流量离散，降低不同层之间实验的干扰度 目标用户条件设置，更细粒度的实验目标用户筛选 应用间流量对应，实现跨应用的流量对应，进而做关联实验 实验信息埋点，将流量效果对应到实验 Web页面分层交叉实验 分层交叉实验方案 分层并行做实验 对于一个业务页面的可变因素参数化，从业务上或逻辑关系上将参数划分为相对独立的多个部分，每个部分定义为一层 层与层之间可并行做实验，实验包括层参数值和目标用户的设置 流量进入页面后穿过各层，可同时穿过各层的实验，实现共享 Web页面分层交叉实验 分层交叉实验方案 页面分层示例 Web页面分层交叉实验 分层交叉实验方案 隔离+离散 对每个应用，建立流量区域划分： 隔离区和并行区之间的流量是被隔离开的，流量比例可自行确定 基准桶：用于统计基准数据，不放置实验 隔离区：用于精确测试单个实验的效果 并行区：用于最大程度地支持更多实验的需要，属于粗测区，根据需要划分为多层，每层的实验独立。由于流量同时穿过各层， 实际上共享的流量会造成不同层实验之间互有干扰。为了降低不同层实验之间的干扰度，层与层之间的流量进行离散 Web页面分层交叉实验 分层交叉实验方案 隔离+离散 隔离区和并行区主要用于对流量百分比要求小的实验，对于有些需要大流量的实验，增加一个发布区： 发布区最多有100%的流量可做实验 Web页面分层交叉实验 分层交叉实验方案 隔离+离散 发布区和其他几个区的关系是上下层的关系，所有的流量都会先进入发布区，取得发布区中实验所设置的参数值，然后再被切分到隔离区、并行区。 为了避免发布区的实验影响其他区的实验，发布区的实验参数值优先级比其他区的实验参数值优先级低，即发布区的实验参数值会被其他区的实验参数值覆盖。 Web页面分层交叉实验 分层交叉实验方案 目标用户条件设置 有些实验需要缩小目标实验群体，实验条件设置允许实验者根据用户特征来筛选实验目标用户 应用间流量对应 对于涉及到多个关联应用的页面 ，上下游应用间基准区、隔离区的流量要对应起来 Web页面分层交叉实验 分层交叉实验方案 实验信息埋点 实验的效果如何？要基于统计时能够知道流量穿过了哪些实验 要在流量进入页面时将流量穿过实验的信息加到所在应用的埋点中，可实现实验效果的统计分析 埋点最终会随着用户行为记录到用户操作日志中，通过对日志的分析得到各流量的效果数据，从而得到实验的效果数据 eb页面分层交叉实验关键技术实现? 流量的拦截和处理– eb页面分层交叉实验 关键技术实现 ? 流量的拦截和处理 – 灵活的流量拦截处理，可在web服务器的流量控制处拦截流量，比 如web.xml的filter和webx的pipeline – 流量拦截处调用客户端公共库的分流器组件进行流量的处理，给 流量赋对应的参数值，并利用ThreadLocal来保存流量的参数值 – 生成实验信息埋点 – 应用程序通过公共库组件读取流量的参数值，将参数值注入程序 执行逻辑，并将实验信息埋点加到应用埋点体系中 拦截器 4.拦截器执行完毕，进入流量处理程序正文 2.拦截器拦截流量，将 流量交给分流器处理  流量处理程序正文 程序执行点1:读取实验参数1 程序执行点1:读取实验参数1 分流器组件处理 程序执行点2:读取实验参数2根据HTTP Request的URL查找到该应用上所有与此流量相匹配的模块和层，对模块和层根据实验者的设定进行排序3. 程序执行点2:读取