产品经理如何做A-B实验.docVIP

产品经理如何做A/B实验 / A/B测试支撑着产品的高速迭代发展，同时也沉淀着海量的最佳实践和方法论。笔者在某头条做C端产品时，做了大量的A/B实验，快捷测试验证新功能。其中在2020年8月份，1个月做了12个A/B实验，带来明显的OKR指标提升，当月获得绩效最高档（盖章可查询）。给大家整理了一些A/B实验方法论，分享给需要的同学。 本文讲述如何更专业的做A/B测试，如何拿到更加置信的数据结论。后续会陆续给大家分享如何思考设计新的功能，确保A/B实验的正向率，避免成为A/B实验的终结者（结论总是负向）。 一、什么情况下需要做A/B实验？ 大多数A/B实验建立在：当不确定哪种方案更有利于达成核心目标，不确定新的方案会不会对核心指标之外的其他指标造成负向影响，我们通过做A/B实验来进行测试。 关于A/B实验的功能场景，我们看个简单的例子： 场景还原：优化前的商品详情页展示商品价格以及该商品可以用的优惠券，如何提升商品的交易转化率呢，产品经理想：帮用户把券后价直接展示出来是否能提升转化率，能提升多少。 由于商品详情页是电商交易链路的核心页面，直接全量上某个功能，万一效果不好则影响巨大。通过切一部分流量进行A/B测试，密切观察实验数据、灰度发布是最佳策略。 大家熟知的今日头条、抖音、西瓜这些产品的名字，都不是产品经理或者业务负责人拍脑袋经验主义决策的结果，而是把不同名称的应用包上架到应用市场，看哪个名字的下载率和分享率最高，就用哪个。本质上通过A/B测试的思想，把产品决策权交给了用户。 二、怎样设计A/B试验？ A/B实验的整体流程： 2.1 确定实验目标 确定实验目标即以什么指标衡量实验组的好坏。 提升页面转化率：例如电商行业中，提升列表页到商详页的转化率，商详页到订单确认页的转化率，订单确认页到交易成功页的转化率。在家装行业中，最常见的是提升留资页面内“预约装修”提交按钮的点击转化率。提升用户留存：提升用户在平台内的次日、3日、7日等留存率 在观察实验组数据指标时，以一个核心指标为主，同时需要观注其他相关指标，全面衡量，得出结论。 举个栗子：笔者在爱奇艺任职期间，为了提升核心指标“人均VV（人均播放次数）”，产品做了“自动播放”功能。短期内核心指标显著提升，但由于自动播放功能造成用户反感，用户留存指标受到了影响。为避免长期造成用户流失，该功能下线。 2.2 设计实验 2.2.1 设置实验组和对照组 唯一变量：实验组和对照组的设置采用控制变量法，实验组和对照组设置本次实验想要验证的唯一的变量，其他条件均不变。 同层实验：如果有多个实验在进行，选择同层实验，避免分层实验。因为同层实验互斥（用户只会在一个实验组），而分层实验可以复用流量（一个用户可以命中多个实验） 以上是基础的流量分层设置，A/B实验成熟的情况下，还可以进行独占实验和长期对照。 独占实验：某些实验层专门为某些特定的实验准备，其他实验不可使用。 长期对照：设置一部分用户做长期对照，不参加任何实验，可以评估多种实验叠加后的效果。 例如笔者所在部门，有几十个实验专项层，笔者独占3个，专门用于做交易链路相关的A/B实验。 流量设置：给实验组和对照组分别设置一定的流量，这是做实验的必要准备条件。 例如：如果实验分对照组和实验组2个组，选择“层1”取40%的流量，每组20%。如果实验分3个组，对照组和实验组1、实验组2，那么在“层1”取60%的流量，每组20%。 另外，初期每组设置多少百分比的流量，这个要参考当前页面平均每天有多少UV，每组至少保证2000个以上UV，实验相对置信。 2.2.2 空转实验 空转即A/A实验，在成熟的实验平台可自行设置。 例如：设置7-8组实验流量，空转3天，监控PV/UV、转化、留存等核心指标，看有无明显差异。取2组最相近的用来做实验，其余的释放掉。 空转可以明显地发现抽样不均，去掉因为抽样不均带来的实验影响因素，提升实验置信度。 2.2.3 反转实验 反转的前提：A/B实验根据需求功能不同，实验进行的周期不同，短则3-7天，长则1个月。当观察实验结果正向的情况下，可对实验进行反转。 反转操作：将实验组和对照组进行对调，实验组变成对照组，对照组变成实验组，再次观察实验结果。 反转分析：如果反转后的对照组和实验组相比是正向，那么实验成功，可全量。 不可反转的情况：如果A/B实验观察的结论为负向，切记不可进行反转实验，会损伤原对照组的用户体验。 三、如何分析A/B试验 举2个例子进行说明： 实验一：对最近7日流失新用户进行push召回，以提升新用户留存。 由于目标用户群大多为白领，早上7点在吃饭或者通勤，很少有机会打开APP。而中午到下午有些许的休息时间，推送效果最好。 实验二：对秒杀商品列表页价格样式做优化，以提升秒杀频道转化率。 通过优化秒杀商品