B 测试是垃圾测试吗？.docxVIP

你的 A/B 测试是垃圾测试吗？ PAGE 1 你的 A/B 测试是垃圾测试吗？ 本文作者从市场营销的角度出发，结合自己的所思所想，分享了在设计A/B 测试过程中需要注意的五个点，供大家一同参考和学习。在这个以数字为先的广告世界，许多领导者都渴望将营销、市场作为一门科学来管理。于是，他们用精确、测量、数据这些科学的字眼来说话，他们聘请专业人士，他们教团队用结构化的实验来验证他们的假设……然而，除了十分专业的产品经理以外，大多数人并不知道如何用科学、正面的方法论去研究A/B测试的问题，尽管他们进行了所有“成功”的A/B测试，但对于具体的业务指标并没有多大改善。为什么会这样呢？相关人员到底在A/B测试中学到什么？我认为，从市场营销的角度来谈，在设计一轮A/B测试时，必须要记住以下五个要点：一、统计显著性虽然这几个字看上去毫无趣味，但大多数营销人员不能正确定义统计的意义。当我们开始一个A/B测试：“我正在测试的广告之间没有性能差异。”然后，我们运行测试并收集数据，我们希望这些数据将反馈给我们信息，并得出相反的结论，即存在性能差异。但从技术上讲，问题是：“假设最初的假设成立，任何性能上的差异都是由随机因素造成的，那么能观察到实际差异的可能性有多大？”所以，计算p值很棘手，但需要理解的重要一点是：p值越低，我们就越有信心得出我们测试的广告之间存在真正差异的结论。具体地说，p值为0.05意味着有5%的可能性，观察到的性能差异将由于纯粹的随机因素而产生。然而，重要的是，要学会理解这只是一个社会惯例所使用的标签而已，在一个数据匮乏、没有电脑的时代，这可以说是一个合理的标准，但在今天的世界，它可能已经被打破了。二、统计显著性≠实际显著性统计显著性分析虽然可以帮助市场人员评估广告之间是否存在性能差异，但它并没有说明这种差异在实际应用中有多大或有多重要。有了足够的数据，无关紧要的差异可被视为“具有统计意义”。例如，假设你用两个稍微不同的广告运行一个A/B测试。你为每个广告投放了1,000,000个展示，然后你发现版本A获得1,000个展示，而版本B获得1,100个展示。使用相关的A/B测试计算方法，你将看到这是一个“具有统计意义”的结果—p值为0.01，远远超过通常的0.05阈值。但这一结果是否具有实际意义？数字代表着一个进步，但在大多数营销环境中很难改变游戏规则，记住，有时候需要成千上万次的投放才能得出这个结论，而这个结论本身就很费钱。我对营销领导者的实际建议是：要学会接受这样的事实，市场与产品不同，A/B测试中微小的调整可能很难会产生巨大影响。要学会重新定义测试在市场营销中所扮演的角色，使你的团队成员将重要性分析理解为一种比较有意义的理念与方法，而不是定义成功。三、谨防“偏见”但是，如何理解那些我们读过的、并与我们的团队分享过的、看起来微不足道的A/B测试带来的巨大性能收益的文章呢？比如“如何添加逗号提高30%的收入”“这个表情符号改变了我的生意”等等。虽然肯定会发生这样的情况，但它们的数量和距离都比互联网搜索所能让你相信的要少得可怜。在市场营销领域，这个问题被一些因素复杂化了：人们总是很轻易的认为，通过一些A/B测试，轻松取胜就在眼前；所以，他们当然不会公布那些没有产生有趣结果的实验，也就容易造成一种分布偏见。我们不会看到或谈论所有A/B测试的结果，更何况一些测试运行的结果根本就是无关紧要的。所以，请记住，一些看起来好得令人难以置信的结果很可能是真的。但你需要这样问自己：他们进行了多少次实验才得出如此惊人的结果?不要因为要复制有价值的结果而感到压力，相反，要把注意力集中在不引人注目但更重要的工作上，测试有意义的不同策略，并寻找具有实际意义的重大结果——这才是真正的价值所在。四、小心 p-hacking数据是营销人员最好的朋友，但它同时还带着一个警告标签，因为你拥有的数据维度越多，你就越有可能以某种方式陷入被称为“p-hacking”的反模式。P-hacking指的是数据分析能够从纯噪声中产生看似“具有统计意义”的结果的某些方式。最明目惊心的p-hacking形式，不过是不断地进行实验，直到得到你想要的结果。记住，p值为0.05意味着观察到的差异有5%的几率是随机产生的，如果你将同一个实验进行20次，你应该期望仅凭偶然就能得到一个“显著”的结果。如果你有足够的时间和动力，你可以有效地保证在某一时刻取得显著的成果。众所周知，制药公司为了让一种药物获得FDA的批准会做这样的事情，但这可不是什么好事。大多数营销团队永远不会做这么愚蠢的事情，但有一些更微妙的p-hacking形式需要注意。例如：你针对受众，运行两个不同的广