AB测试中的因果推断：潜在结果模型.docVIP

AB测试中的因果推断：潜在结果模型 / 重度雾霾天，你出门可能戴口罩，也可能没戴。如果没戴口罩，今天痛苦地咳嗽了 100 分钟（会不会挂掉？），你会很后悔地想：要是我今天记得戴口罩，那么我可能只会咳嗽 10 分钟。 戴口罩的话你会咳嗽 10 分钟，不戴口罩的话你会咳嗽 100 分钟，咳嗽 10 分钟和 100 分钟分别就是这两个处理所对应的潜在结果。因为你实际上没戴口罩而咳嗽了 100 分钟，所以，这戴口罩只咳嗽 10 分钟的潜在结果只是你想象的结果，不是实际发生和观察到的。 听起来是不是有点反事实 (Counterfactual) 推断的味道？是的，潜在结果就是这种想象中的：假如我这几年买的是美股，而不是 A 股，那结果就是赚 100 万，而不是赔 100 万了（捶胸顿足）。 有点意思？那继续，下面才是正菜。 对 A/B 测试有了解的读者都知道，A/B 测试通过用户分组进行在线试验，可以对比产品两个版本的方案找出哪一个更好。 但是很多人可能会问：我为什么一定要用 A/B Testing？Google Analytics 这么强大，我的产品的用户访问一目了然，通过数据分析不难找到问题所在，A/B 测试还有必要吗？ 这篇文章里，作者将从因果关系方面仔细分析为什么在关键的产品决策时，您需要 A/B Testing，而不仅仅是像 GA 这种观察性的数据分析工具。 一、相关性与因果关系 前面问题的回答从统计学上看很简单，GA 这种观察性的数据分析工具主要用于探索性的研究，它长于发现问题，而不是解决问题；它可以用来发现事物之间的相关性，但是很难用来确认因果关系。 在概率论和统计学中，相关（Correlation，或称相关系数），显示两个随机变量之间线性关系的强度和方向。 ——维基百科 相关性在探索性的研究中是很有用的，它可以在实践中预示某种关系，指明进一步研究的方向。相关性的典型例子是产品的需求和价格的关系，空气质量和汽车数量的关系。 这两个相关性的例子都暗示了更进一步的因果关系，因为从经济学上看价格下降会提升需求，汽车数量增加使得尾气排放量增加而导致空气质量变差。 但是，不是所有的相关性都有因果关系，相关并不意味着因果。 15 Insane Things That Correlate With Each Other 这个网站收集了很多看起来很荒谬的相关性例子。 上面的例子中，美国缅因州的离婚率和人均黄油消耗量在 2000 年至 2009 年间达到了极强的相关性（相关系数 0.9926）。吃黄油和离婚明显是没有因果关系的两件事，因为根据我们的常识，吃多点黄油不至于让人性情大变而导致离婚，离婚之后也不太可能因为心情沮丧而多吃黄油。 如果我们的研究目的是找出缅因州离婚率下降的主因，人均黄油消耗量和离婚率之间的相关性有用吗？显然这个相关性的作用是很有限的，你不能据此得出结论：少吃黄油有助于婚姻和谐。 我们希望得到的是和离婚率之间的因果关系，这就需要针对性的调查或试验，吃黄油和离婚两者表面上的相关性顶多起到提示性的作用（假如有的话）。 例如，研究人员可能会想到，是否有一个第三因素，导致了缅因州离婚率和黄油消耗量的共同下降，如经济形势？ 因果关系在很多应用场合是我们的核心关注点，例如产品的优化方案。更醒目的 Call to Action 按钮是否会促进着陆页的转化？什么样的表单用户更愿意去完成？这些问题的背后都是一些 PM 需要去确证的因果关系，正是 A/B 测试可以大展身手的地方。 A/B 测试也称为在线对照试验 (Online Controlled Experiments) ，是一种科学地进行统计因果推断的研究方法，它和其他统计研究方法（如观察性研究）的主要区别在于它可以通过针对性的试验简单高效地对所考察的因素和变量间的因果关系进行科学地推断。 那到底什么是因果关系呢？ 因果关系是一个事件（即“因”）和第二个事件（即“果”）之间的关系，其中后一事件被认为是前一事件的结果。一般来说，因果还可以指一系列因素（因）和一个现象（果）之间的关系。对某个结果产生影响的任何事件都是该结果的一个因素。 ——维基百科 A/B 测试要研究的就是这种简单逻辑上的因果关系，而不是先有鸡还是先有蛋这种近乎哲学上的因果。确切地说，我们通过试验要证明的是：某个因素/处理是否会对某个现象/结果产生作用。 下面我们将根据统计学上的潜在结果模型，仔细分析因果关系的定义和推断过程。 二、潜在结果 首先明确一下统计学上因果关系的定义。在试验的上下文中，我们讨论的因果关系是和某个处理 (treatment) 关联在一起的，作用的目标主体是参加试验的个体。 一个或多个处理作用在个体上产生的预期效果我们称之为潜在结果 (Potential outcome)。之所以称为潜在结果是因为在一个