阿里妈妈大规模在线分层实验实践.docxVIP

阿里妈妈大规模在线分层试验实践 在线服务系统的AB-test方法有很多种。搭建多个可服务集群，从物理上对流量进行隔离是比较常见的一种方式。这种方式应用于大型简单的在线服务系统时，存在部署比较慢的问题。这种方式的典型架构如下图所示。 QueryRewrite：改写用户搜索词以期望得到更好的查询结果。 Matching：依据用户搜索词，召回最符合用户意图的那些推广。 Ranking：确定推广的输出挨次，需要兼顾用户体验和搜索平台的收益。 这种架构有两个优点。 代码分为了基线和试验代码，试验代码对业务的侵入性比较小。 试验田的流量和基线的流量从物理上严格分开，严格把握了试验对业务的影响。 这种架构的缺点同样也很明显，次要有如下几点。 添加了运维的简单性，运维需要维护多套环境。 每套环境接入的流量都是由单个试验田集群的物理机器数量固定上限的，不能机警地验证流量扩大的情景。这会导致对小流量试验效果很好的算法，在基线上有可能无法收到好的效果。 试验的流量有限，导致试验的数量变少，而增大试验流量又会影响业务基线。 我们在总结现有的各种试验机制的基础上，结合阿里妈妈的应用场景实践出了一种高效便捷、能充分利用流量、并行多个试验的方法。该方法也能支持系统的灰度发布，有如下几个优点。 提高并发：实现多试验并行迭代，加快迭代的速度。 公正对比：做到试验效果公正、精确?????对比评估，即时停止不符预期的试验；随时扩大效果良好的试验的流量。 降低门槛：供应试验管理工具，除算法以外，其他有试验需求的如产品、运营、前端等都可以独立申请发布试验。 建立闭环：从想法、试验前线下评估、发布试验、试验进行、试验评估、最终试验总结，确保试验结果的质量。 系统架构和模块说明 一. 系统全体架构 架构全体可以划分为三个系统，如下图所示。 接下来对各个子系统进行具体的引见。 1. 试验配置管理发布系统 此系统给用户供应便捷的UI操作界面，便利用户添加试验配置流量，然后动态地在线发布。为了弥补各种不行预期的错误，该系统支持历史版本的快速回滚。 2. 在线服务系统 依据用户的试验配置文件，进行分流处理，给各个试验安排相应的流量。试验分流模块以库的方式接入在线服务系统。在系统的流量入口处调用此分流库。后续会具体引见分流的原理和作系统进行试验的方法。 3. 日志分析呈现系统 依据在线服务系统记录的日志，统计出各个试验的效果，供系统分析师或试验观看者使用。然后依据试验的效果，使用试验管理系统去调整各个试验流量的占比。 二. 各模块引见 1. 试验配置管理发布系统 (1) 试验场景。广告系统中，试验是针对某一批广告位或者特定页面进行的。针对PID（标记广告的位相信息）或页面来对流量进行分类就成了一个强需求。将这样一批广告位定义为一个试验场景。Web操作页面上需要供应配置试验场景的UI界面，用户可以在这个界面上新建一个场景，指定符合某些PID要求或者URL要求的恳求进入相应的试验场景，UI界面如下所示。 在此页面上，用户可以便利地添加一个新场景，并指定该场景的入口PID（入口PID可以设定多个）。 (2) 试验分层和流量切分。进入某个试验场景后，通过分多层来达到流量的复用。每一层的流量均是流入这个场景流量的一个全集。每一层的流量可以按用户指定的切分标记进行分桶切流。 一层可以看成是多个试验的集合，试验分层的准绳如下： 相互之间没有影响的试验可以分到不同层。 相互之间有影响的试验分到同一层。 由于互不影响的试验被安排到了不同的层，从而达到复用流量的目的。相互之间有影响的试验分到同一层，则保证了同一恳求不会去作两个互斥的试验。 2. 在线服务系统 Tesla以lib库的方式接入在线服务系统。没有做成一个服务的方式，次要考虑到接入简约，不添加系统简单性和运维的工作量。 (1) 分流规章。用户可以在各层指定不同的切分标记进行流量切分。系统会依据用户指定的切分标记值来计算hash值。计算出的hash值对100取模再加1可以得到分桶号，每个试验占了指定范围的桶号，这样便可以晓得该次恳求应当进行哪个试验。这里需要留意的是，选取一个偏差较小的hash函数，我们在数10种hash函数中选取了一个最优的hash函数，将偏差把握在试验效果统计可以忽视的范围。 假如每一层均使用这样的切分规章，不同层做试验的用户选用相同切分规章时，恳求一直落入相同的桶。由于不同层的试验之间毫无关系，为了保证明验效果确定可信，需要做到不同层的流量正交。为了达到这个目的，引入了layerID来作为离散因子。由于每一层layerID是固定的，也能保证同一恳求两次访问能落到同一个试验，从而不会形成同一用户多次访问，前往结果不全都的困惑。示意图如下。 (2) 试验参数的处理。之前叙述了如何打算一次恳求去作哪些试验。这一部分引见一个具体试