增长黑客AB-Testing系统设计.docxVIP

增长黑客AB-Testing系统设计 一、AB-test思路 数据驱动概念兴起的同时，AB-test也同步出现在大家的视线中，各互联网大厂率先引进了AB-test系统，希望通过循环的测试，上线最符合公司客群的产品。 这一理念一出引发行业内各个公司的效仿，各种宣导纷至而来，那么什么是AB-test？什么样的公司能迅速构建出AB-test系统？我们今天来一起聊一下。 1. 什么是AB-test？ 携程的大佬们曾给出一个定义：AB试验可以简单的认为是传入一个实验号和用户分流ID到AB试验分流器，分流器吐出分流版本A、B、C、D等，截取一部分应用流量，落地某一段时间的分流数据，进而分析各个版本的优劣，决定启用新版本还是沿用老版本的过程。 这一定义大家能不能理解呢？我们用更通俗的语言做一下解读： 首先：试验的目的是为了决策新开发的两个或两个以上的版本该上线哪一个的问题——即当有较多的版本选择时可以先测一把，让数据告诉我们哪一个方案比较适合我们公司的客户。 大家有没有遇到经验失效的时候，就是我们按照自己的经验设计出来的产品、活动，客户并不买账，失效的原因有很多，其中一个比较常见的原因就是经验失效，即我们培养起来的经验往往是根据之前公司或者历史数据形成的。 问题在于新公司/当下时间中客群发生了变化，我们之前的经验未必完全符合现在的客群，这也就凸显出了AB-test的价值，AB-test是根据本公司现在的客群进行的对照试验，可以直观的表达出客户需要什么样的产品。 其次：试验用到的一个重要组件是分流器，分流器有什么用处呢？ 顾名思义——分流用的，就是通过一定的规则将APP中随时流动的数据分成多个版本，客户进入APP后会自动分配到各个版本中，各个版本对应开发的新旧版本，进行稳定测试。 分流器中常用的方法是对客户的session/cookie进行hash运算，然后将运算结果取模mod（即取余运算，不清楚的看官可以百度一下）。通过取模后的值进行分流，分流的过程涉及正交、互斥试验的设计，其中细节，我们下文中会详细描述。 其三：就是试验效果评估的过程，AB-test的两个重点之一就是效果评估（另一个就是上面的分流器），如何评估一个试验是否成功？试验1的UV大于试验2的UV是否就说明试验1是好的？ 这其中就涉及到了统计中的各种检验知识，我们会在下文原理部分详细描述。 现在我们从简到繁了解一下AB-test的试验思路，假设一个客户来到我们的APP，其在AB-test中的数据访问可以如下图描述： 看图听故事如下： 一个客户进入到我们的APP时，会在客群的部分做一次筛选，即试验是否是有划分客群，如果有客群划分，则需要判断新来的客户是否命中我们的试验客群； 第二步我们要判断需要进行什么类型的试验，正交还是互斥？以及此次试验需要切分多少流量，5%还是10%； 经过了客群识别和流量切分后，我们的客户来到了试验分组部分，系统采集客户访问的cookie/session信息计算出唯一hash值，并对这一hash值做mod处理； mod处理之后的数据会被分到t个桶中的某一个，然后再根据一定的比例和算法将t个桶中的数据分成三组，即：A组、A组和B组，假设分流比例为：1/3，1/3，1/3； A-A组即为旧版本对照组，用来检验分流是否有效，如果A-A组不显著，说明数据不受系统性因子影响，分流是有效的；A-B组即为新旧版本的对照组，其中B组为新版本； A-A-B组的数据比较即为试验数据分析，分析人员借此完成试验的效果检验，确定试验是否显著。 看完上面这一串介绍，有没有一种原来如此的感觉？ AB-test的基本流程可以是上图的样式，但是充其量只能作为一个简图，接下来我们一点点的抽丝剥茧，还原AB-test产品的真相： 2. 什么是正交试验？什么是互斥试验？ 正交试验：每个独立试验为一层，为保证各层之间不相互影响，一份流量穿越每层试验时，会再次随机打散，且随机效果离散，这一过程叫正交，这样的试验叫正交试验。 正交试验能最大化的保证各层试验相互独立，确保各个试验不会相互影响。 我们用图形来表示正交，如下图： X层的全部流量随机打散，然后进入到Y层，看到的结果即为Y层的流量为X层流量重组之后的再分配，两层之间相互独立。 互斥试验：即为在同一层中拆分流量，且不论如何拆分，不同的流量是不重叠的。 互斥试验是在流量足够的情况下进行的分流策略，各个试验之间也不会相互影响。我们同样用图形来表示互斥，如下图： X层的流量会各自独立的分到Y层，相互之间不受影响。 3. 如何计算最小样本量？ 最小样本量的计算，我们会在下文原理篇详细讲解～ 4. 多个试验同时发生时如何分层？ 前面我们讲解了正交和互斥两个原则，接下来我们介绍一下在正交和互斥的原则下该如何设计试验分层？ 正交、互斥两种试验的引用是为了能够更充