AB实验系统与数据统计分析在互联网产业下的应用.docx

?

?

AB实验系统与数据统计分析在互联网产业下的应用

?

?

王志兴

摘要：随着流量红利、人口红利衰减，产品运营算法更加关注精细化运营，AB实验是一种精细化运营的手段。通过对实验策略和对照策略的数据进行分析，对比关键指标的变化，将转化率高的策略进行转全上线。指标分析分为实时指标和离线指标，实时指标用来及时反馈数据异常与否，离线指标用来观察业务关心的指标的变化情况，其中对指标的有效性分析需要统计学的样本量预估和假设性检验。

关键词：AB实验;数据埋点;指标分析;假设性检验;实验转全

：TP311.13?：A?：1672-9129（2020）10-0026-02

1?项目背景介绍

ABTest将用户随机分为若干个用户组，将不同的用户组同时试验线上不同的版本效果。我们将新建一个页面设置为测试页面，然后这个新建的页面可能在背景颜色，文字内容及风格样式等与原有的基线页面不同，我们将这两个页面隨机的分发给不同的在线用户，其中看到基线页面的用户群体为A流量组，看到测试页面的用户群体为B流量组，A流量组和B流量组所占全体用户的比例是一致的，且用户画像群体随机离散。在实验过程中我们对用户的行为数据进行埋点，通过统一的上报通道收集到数据仓库中。最终后台通过大数据分析的方式计算出基准页面及测试页面不同的点击，意向及转化率等指标，帮助业务对产品策略进行决策。AB实验的三个特性，先验性：相对于后验先让部分小流量用户使用，来验证我们的想法;并行性：运行两个或两个以上版本策略同时去对比，节省验证时间;科学性：用统计的指标判断结果，避免我们依靠经验主义去做决策。

但是ABTest仅仅只是将用户分成若干个不同的群体，存在如下的问题

1.1流量饥饿及实验间相互影响。现有大部分分流模型都是单层的实验模型，即不同的实验使用不同的流量，各自独立，流量间互不干扰，但是会存在流量饥饿的问题。单层实验模型下，其中实验A占用了40%的实验流量，实验B占用了50%的实验流量，在增加一个实验C20%的实验流量时，我们发现已经没有空闲流量给实验C使用，支持的实验个数是有限的。在多层的实验模型下，即不同的实验使用的流量相互正交，可以最大程度支持实验数量，但是这样会存在实验间相互干扰的情况。多层实验模型下，假设针对某个功能模块建立了背景颜色实验和文字颜色实验，背景颜色实验中背景色是红色或者白色，文字颜色实验中文字颜色是红色或者绿色，并且这两个实验分别放置于不同的实验层中，如果用户同时命中了这两个实验，并且命中的策略是背景颜色为红色，文字颜色也是红色，如此一来就导致了页面样式不可读，实验间相互干扰的情况出现。

1.2业务埋点方案复杂。在一般的埋点方案下，业务方的每个需求都需要向负责埋点的同学申请埋点规范，并且需要业务方关注埋点的数据，实验埋点逻辑完全由代码控制，增加了业务方同学的开发量，埋点行为缺乏控制，容易出现缺少埋点，埋点错误等问题。

1.3数据产出不及时，缺乏科学分析方式。ABTest在整体流程上只包含业务的分流，并不包含产出数据的具体流程，所有的数据产出需要业务方找专业的数据人员去提取数据，而且在产出数据后，仅通过指标的大小比较，以确定最优策略。但在现实情况中，这样的策略全量发布后，往往没有获得正向的收益。

2?实验系统设计

2.1分流模型：原有的分流模型只包含同层实验模型及多层实验模型。而在实验系统提供的解决方案中，可以同时满足业务方对互斥实验和正交实验的需求。具体实现中，实验系统按照业务维度对用户的流量进行划分，在每个业务内部实验系统对实验的位置进行了划分，最高级别的是页面的维度，其次对每个页面拆解为多个模块，最后在模块的维度进一步拆解为若干个层;接着实验系统内部按照业务将用户的流量均匀划分为若干个流量大小相同的流量桶，然后将这些流量桶组成实验域，这些实验域包含隔离实验域（在这个域下的用户不会命中任何实验），互斥实验域（在这个实验域中的用户在这个业务下至多命中一个实验），正交实验域（在这个域中我们分为页面隔离实验即用户在一个页面可以命中至多命中一个实验，正交实验即用户可以命中多个实验）。业务在进行实验的时候可以对自己实验的实验方式进行选择，放在不同的实验域中进行实验，来支持更多的实验。

2.2流量圈定：首先对用户进行流量圈定，如所在的城市需要是北京，客户端版本范围圈定，用户画像圈定等，我们将这些条件和我们的实验进行绑定，确保只有满足上述条件的用户才能命中该实验。

2.3分流算法：将每一层用户充分打散的算法，分流算法为f（分流标识+离散因子）。在分流标识方面，实验系统支持多种分流标量，例如uuid，userid，cookie等一系列的用户唯一标识。而在离散因子上实验系统会为每层生成不同的离散因子，并且会对离散因子进行预验证来保证该离散因子能够保证用户在每层上命中的