如何通过 AB Testing 提升产品数据？.docx

如何通过 AB Testing 提升产品数据？ PAGE 1 如何通过 AB Testing 提升产品数据？ A/B 测试，简单来说，就是为同一个目标制定两个方案（比如两个页面），让一部分用户使用 A 方案，另一部分用户使用 B 方案，记录下用户的使用情况，看哪个方案更符合设计。那我们要如何通过 AB Testing 提升产品数据？产品或者设计师在做设计方案时，会有一套方法论来制作多个方案，经过评审之后一般都会得出一个平衡了用户体验和业务目标的方案。但往往也存在一种情况：A方案和B方案各有优劣，实在无法主观判断两个方案上线之后数据如何。如果AB方案的实现成本不是很高，就可以使用AB Testing来解决。依据上线之后的数据表现，最终上线数据更好的方案。1. 原理数理统计学中有一个概念叫“假设检验(Hypothesis Testing）”，其基本的原理是对整体特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受作出推断。在假设检验中，存在原假设和备择假设，以下图为例：改变按钮样式的AB Testing原假设指改变按钮样式会带来转化率的提升，备择假设是改变按钮样式不会带来转化率的提升。原假设和备择假设有且只能有一个为真。2. 背景Google是最早将AB Testing应用到互联网产品的公司，谷歌工程师在2000年进行了他们的第一次AB测试，试图确定在搜索引擎结果页面上显示的最佳结果数量。后来AB测试不断发展，但基础和基本原则通常保持不变，2011年，谷歌首次测试后11年，谷歌进行了7,000多次不同的AB测试。目前像Facebook、LinkedIn等公司都有专门的增长团队来做AB Testing的实验（增长团队的核心就是不断的进行AB Testing来提升产品数据），并且团队负责人直接向CEO汇报，最近两年国内不少公司也越来越重视数据增长。3. AB Testing越来越被重视的原因为什么数据增长会在互联网行业兴起，我认为有两点原因：一是互联网产品的表现形式趋于成熟，目前市场上主流的智能手机操作系统只有iOS和Android，它们在交互和视觉层面越来越规范和统一；二是互联网产品设计的方法论逐渐成熟，互联网公司产品设计流程的分工已经很细，产品经理、交互设计师、视觉设计师，而且每个岗位都有成熟的方法论。由于这两点原因，导致大家做出来的东西在用户体验层面已经拉不开很大的差距，这时候如何在同质化产品中脱颖而出变得更加困难，其中通过科学的方法，采用认知心理学和统计学相关知识的AB Testing展现了它的威力，并为互联网产品的数据增长带来了新的动力。4. 具体方法论：如何做实验？①提出想法，设定假设得出假设的方法有很多，包括福格模型、头脑风暴、经验总结、行业借鉴、公司不同部门人员提出建议、用户调研、数据分析。方法有很多，以后我们会详细介绍。②预估成本/设定优先级有些实验方案不仅涉及设计和开发成本，还需要额外的资金成本，像增加现金或优惠券奖励来提升转化率的实验，这个时候需要对该类实验经济成本预估，并且结合ICE模型来设定优先级，决定哪个实验先做，哪个实验后做。ICE模型是指：Impact Level 重要度；Confidence 自信度； Ease 容易度。每项满分为十分，ICE总分为三项的平均分，ICE分值越高，对应的优先级也越高。③设计方案决定了哪些实验先做，哪些后做，接下来就要开始进入方案的设计阶段了，有些简单的实验可能不需要经过设计阶段，可以直接开发上线。主要跟交互设计师，根据第一步提出的假设，提出多种方案，最后选择一到两个方案进行AB testing。著名的资讯公司Upworthy会对每篇即将上线的文章讨论出25个标题，最终选择2个标题进行A B testing。④确定实验人数和周期关于计算实验人数和周期，有很多工具网站可以使用，例如：Evanmiller网站。打开这个网站，你会发现有四个字段需要输入：一个是Baseline conversion rate，指原有的转化率；二是Minimum Detectable Effect，指预计会提升的百分比，另外两个是β和α值，你只要记住设定这两个值是为了保证实验结果的准确性。一般β值会设定在5%/10%，α值会取1%~10%之间。⑤安排开发与测试这个大家太熟悉了，就不多说。⑥分析实验结果在分析实验结果的时候要特别注意两点：一要排除其他因素导致的数据变动，例如你的产品是受季节影响的话，实验得出的数据要扣除季节对数据产生的影响；二是确保关联数据也有相应增长，例如你的实验是要提升活动详情页到支付页的转化率，实验结果显示，转化率