有赞ABTest系统：数据驱动增长实践.docxVIP

有赞ABTest系统：数据驱动增长实践 A/B 测试是一种对比分析方法，通过对流量进行细分和随机试验，并监控和跟踪试验效果，来推断试验所代表的策略的可行性和有效性。 对比：通过对流量的随机细分，来进行有效的独立随机试验，可以排解外在条件的影响，因而愈加科学。 分析：通过跟踪和分析试验的现实效果数据，来推断试验的可行性和有效性，因而愈加精确。 如下图所示，示例 A/B 测试将目标人群随机划分为A、B两组，分别呈现不同的页面，然后通过跟踪和对比A、B两组用户的转化率，来比较A、B页面的效果；显而易见的，A组页面的转化效果好于B组页面。 相比原有基于时间的如T+30的效果对比，A/B测试可以排解时间和人为因素等外在全部因素的影响，并且保障同时进行的场景试验相互独立互不干扰，可以精确?????而且高效地评估试验效果。 2.2?应用场景 A/B 测试处理的是策略优化的问题，即从多个可选策略里找出最优策略。常见的应用场景包括： 灰度发布：技术算法迭代 功能优化：界面模块、样式风格、交互方式等 内容优化：推广海报、落地页、内容模块、文案等 运营优化：运营策略、沟通话术等 2.3 核心概念 我们参考了Google的论文《Overlapping Experiment Infrastructure: More, Better, Faster Experimentation》，考虑到流量的隔离、复用以及细分，引入了以下几个核心概念： 应用： 应用是对流量和系统的划分，比如商详页可以是一个应用，推举系统也可以是一个应用。应用实现对流量的隔离，一个应用下可以包含多个场景。 场景： 场景是指需要对比不同策略的业务场景，场景是进行A/B测试的业务单元，一个场景下可以包含1个或1个以上的试验（测试中的场景通常至少包含2个试验）。流量在同一应用下的不同场景之间可以被复用。 试验： 试验代表场景下的策略，由试验配置来描述，即一份试验配置对应一个业务策略。同一场景下的试验相互之间是互斥的，场景的分流结果前往且仅前往一个试验。试验的次要配置如下图所示（示例场景为ABTest平台的底部答疑提示）： 流量来源： 流量来源用来指定试验流量细分的粒度和比例，流量来源可以是具体的上一层某个试验，也可以是不指定试验即来源于大盘流量。一个试验可以有一个或多个流量来源。 2.4 增长测试迭代 A/B 测试通常是一个持续的迭代过程，包含5个步骤，即产生试验想法、评估试验优先级、设计和开发试验、分析数据以及应用结果。《硅谷增长黑客实战笔记》将其视为一个数据驱动增长的标准流程，因而我们也称之为增长测试迭代流程。 产生试验想法。产生试验想法是进行试验的第一步，要求尽可能多地提出有可能提升业务目标的试验想法。 评估试验优先级。由于产品研发资源是有限的，不同的试验想法对于提升业务目标的效果也各不相同，我们需要评估试验想法的优先级，优先选择产出大、相信度高且简约实现（即ICE标准）的想法来进行尝试。ABTest系统通常假设试验想法已确定，试验想法的产生和评估我们会在增长分析平台里实现（将在后续文章中引见）。 设计和开发试验。次要包括：1）确定试验变量和分流策略；2）在ABTest平台上配置应用、场景、试验以及流量来源；3）依据示例代码，完成ABTest SDK接入；4）测试、验证并上线应用和试验场景。 分析数据。次要包括：1）确定试验评价的核心度量目标；2）配置通用数据度量模型，或者接入自定义度量数据；3）查看ABTest平台效果报表，推断试验的有效性和显著性。 应用结果。推断最优试验，并通过试验100%切流上线或者试验下线来应用试验结果。 三、ABTest系统设计 3.1 交互流程 ABTest系统次要包括三个部分，分别为ABTest平台、ABTest SDK以及数据流。ABTest 系统交互流程如下图所示： 3.2 ABTest平台 ABTest平台是用户（管理员）与ABTest系统的次要交互接口，次要供应以下功能： ABTest元数据管理。用户可以在ABTest平台上完成完备的元数据管理操作，包括应用、场景与试验的创建、编辑和删除以及配置的发布等。 ABTest接入的开发和测试支持。用户可以便利地查看完整可用的接入示例代码，可以输入分流用户标识进行测试，以及查询实时日志等。 实时报表和离线效果报表。实时报表包含实时恳求、曝光和点击等数据，效果报表支持试验的恳求/曝光/点击/转化等相关目标的对比，同时支持点击率、转化率、千次曝光转化等目标的显著性推断。 特别监控和告警。平台实时监控 SDK 上报的 ABTest 恳求数、失败数和延迟时间等数据，一旦发觉特别即发出告警。 3.3 ABTest SDK 考虑到目前有赞的技术栈现状，ABTest系统供应了Java和Node两种客户端SDK。ABTe