《信号和噪音》——定量预测学经典.docx

《信号与噪音》——定量预测学经典在上届总统竞选中，奈特·西尔弗（Nate Silver）准确地预测了每个州的竞选结果，只在2008年对一个州做出了错误预测。2012年，他预测奥巴马的直接得票与实际统计数值的差距应该在千分之一以内。他的预测能力似乎不可思议。在对奥巴马胜选的早期和持续跟踪预测中，他均领先于众多投票组织以及我的政治学者同事们。他的著作《信号与噪音》（The Signal and the Noise）是当之无愧的畅销书，然而，此书可能会使购买者感到吃惊。书中仅有一篇简短章节涉及选举的预测，其用笔较之对橄榄球、天气和国际象棋的预测更为简略。实际上，他为预测学撰写了一部严谨的专著，不含任何理论数学，仅针对普通读者。西尔弗的书包罗万象，预测范围从扑克到天气变化、从地震到恐怖主义。我们知道，较之人类其他活动，尽管我们大量收集了棒球场上每个球员的统计数据，但是经验丰富的球探对球员表现的预测远比计算机更准确。由于玩扑克运气和技术参半，专业玩家靠与富有的业余玩手们博弈来维持生计。地震预测这一章节较长，我们从中了解到：虽然人类擅于估测地震，但它们“其实根本无法预测”。经济学家也持同样谨慎态度，因为他们鲜能准确预测次年的经济增长。他们的预测模式也许考究，西尔弗说，但“他们用以预测的原始数据还不够有力。”关于预测，最瞩目的成功案例莫过于预言飓风将席卷何处。在过去的25年，准确定位飓风登陆地区的能力提高了12倍。西尔弗说，同时，新闻广播会故意报高下雨的几率，因为他们知道，听众发现没有下雨、自己不用带伞时会心生感激。但他并未将“高度数学化和数据驱动的技术”置之一旁，他告诫气候模型专家不要将温度和海平面的精确变化公诸于众。他还谈及出席的一场有关恐怖主义的会议，其中，一位可口可乐的销售主管和一名约会服务顾问被问到如何识别自杀式炸弹。海量信息造就了这个数据爆炸的时代。西尔弗转述了IBM的估算——每天有2.5万兆（计量单位中1后面有17个0）的新字节（电脑中的八位二进制数字序列，每一位编码一个文本字符）产生，记录了一切信息，包括从你昨天所买牙膏的品牌到今早给朋友打电话时的所在位置。将这些信息放在一起可以制成时尚的个人档案，为了定位出更加精确的广告，亚马逊（Amazon）和谷歌（Google）已经着手进行这事了。奥巴马团队中的“科技通”也加以效仿，尤其在识别那些需要额外鼓动才会投票的选民上。那些每天的亿万数据促成了西尔弗著作的标题。“信号”是我们想要和需要的事实，比如能帮助我们侦破早期鞋子炸弹案的信号。“噪音”则是另一回事，通常是不相干的信息，它阻碍或误导我们搜索信号。西尔弗认为911事件的预测失败是有力的案例。但首先，《信号和噪音》在很大程度上是对托马斯·贝叶斯（1701-1761年）这位长期被忽视的统计学者的致敬，也特别受到大学中统计学院系的尊崇。贝叶斯概率理论实际上很简单：首先估计某事发生的大致几率，当有了更多的研究结果时，再修改这一数字，所以它完全以经验而定，而不是构建复杂方程式。关于配偶是否不忠，西尔弗举了个有趣的例子。刚开始你觉得那种事是无中生有，可能性仅为4%。但随着事情的发展，一件奇怪的内衣会将可能性升至50%。西尔弗表示，这一点很重要，因为负责预测恐怖行为的政府官员们没有将贝叶斯定理的“先验论”应用于飞机的合理使用上。西尔弗准备说，“我们有理由认为，911这种规模的袭击是可能发生的。”1985年的印度航空公司的航班事件，还有三年后泛美航空公司的洛克比空难，这些说明了依据贝叶斯定律“先验论”：飞机在这些案例中已被锁定为攻击目标。虽然使用隐秘炸弹，加上后来的阴谋未能得逞。至少，一个图表说明了，几率为4%的攻击行为已在某人的计划中了。当然，得来的情报大部分是“噪音”（截获的大多数对话是关于晚餐的话题。）。然而，2001年的夏天，明尼苏达（Minnesota）飞行学校的工作人员们向联邦调查局（ FBI）特工举报，一名摩洛哥裔学生想跳过起飞和降落的课程，直接学习在半空中驾驶波音747。一些联邦调查局的特工认真地把扎卡里亚斯·穆萨维（ Zacarias Moussaoui 译者注：摩洛哥裔学生）当做危险人物，但几次要求对其进行搜查和窃/听都被拒绝。事实上，一位教练补充说，一架装满燃料的飞机就是恐怖武器。至少，这些“信号”已提高了用飞机作为袭击武器的可能性，比方说达到了15%，那就去看看其他飞行学校。西尔弗的“恐怖主义数学算法” 也许有点放大了可能性。每天都有亿万数据进入联邦调查局和中央情报局，更不用说国务院和国防部。显然，是不可能去追查所有这些数据的。只有一小部分能进入二次审核。令人困惑的是，最近艾略特·斯皮策（Eliot Spitzer）和大卫·彼得雷乌斯（David Petraeus）这两起绯闻的曝光，皆由其他目的的调查牵扯而出。另外，还有