大数据与因果关系.PDFVIP

大数据与因果关系 赵森栋 2014年11月6 日 北京信工所 大数据时代：相关还是因果？ 两派观点 一派观点： • 大数据代带来的思维：知其然而不知其所以然 • 因果不靠谱，相关性靠谱 大数据时代：相关还是因果？ 两派观点 另一派观点： • 普林斯顿大学发表了一篇论文，称用谷歌搜索词来预测 Facebook将在2017年丧失80%的用户。随后Facebook的数 据科学家马上发表博文反驳，说谷歌搜索词并不能代表实 际趋势，相关关系并不等于因果关系 • 2014年哈佛大学的David Lazer在Science发文质疑2009年发 表在Nature上的用google搜索关键词预测美国流感的研究 工作，因为google在2013年7月份的预测结果超出了实际值 的2倍。只关注相关不关注因果会出严重的问题。 提纲 因果关系定义 因果分析的必要性和重要性 文本上的因果分析 统计变量间的因果分析 存在的问题 值得关注的研究问题 因果关系定义(1/7)  定义1 ：如果某一现象或事件的发生或存在引起另一现象或事件的发 生或存在，这两个现象或事件间就具有因果关系。  休谟定义：如果两个对象在无限绵长的时间里总是先后出现，在空间 里总是接近。那么这两个对象间存在因果关系。  补充说明：  因果关系中的两个事件和现象有时间上的先后顺序。  如果不区分因果和相关，常常会把相关当成因果。  如果不区分原因和结果，常常会造成因果颠倒的谬误。西医的治疗手段 因果关系定义(5/7) 混淆因果和相关的例子 因果关系定义(6/7) 混淆因果和相关的例子 因果关系定义(7/7) 因果问题分析的层次 从每个人生成的含有因 常识因果 果逻辑的文本中直接抽 取或进一步推理 从观测的数据中使用统 浅层因果 计分析方法和因果推断 模型得到的因素之间的 因果作用 需要在结合多个浅层因 深层因果 果或者结合常识因果与 浅层因果的基础上进行 推理得到的因果 因果分析的必要性（1/2） • 因果与相关是两个不同的重要概念 • 无因果关系可能表现出虚假的相关性 – 张三和李四的手表上的时间 – 小学生的阅读能力与鞋的尺寸 – 每年溺水儿童和雪糕销量 –