大数据带来的四种思维大.doc

大数据带来的四种思维 作者：张义祯 　　近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。 　　总体思维 社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。 大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。 如：照片到电影，一分钟一张，一秒钟一张，一秒钟24张成了电影 量变质变定律有时间阶段发展影响和空间相关关联影响 离散思维向连续思维转换 让我来告诉大家，美国有一家创新企业D。它可以帮助人们做购买决策，告诉消费者什么时候买什么产品，什么时候买最便宜。预测产品的价格趋势。这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据，然后帮助数以十万计的用户省钱，为他们的采购找到最好的时间，提高生产率，降低交易成本，为终端的消费者带去更多价值。 在这类模式下，尽管一些零售商的利润会进一步受挤压，但从商业本质上来讲，可以把钱更多地放回到消费者的口袋里，让购物变得更理性。这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司，在几个星期前，被ebay以高价收购。 再举一个例子，SWIFT是全球最大的支付平台，在该平台上的每一笔交易都可以进行大数据的分析。他们可以预测一个经济体的健康性和增长性。比如，该公司现在为全球性客户提供经济指数，这又是一个大数据服务。 　　容错思维 　　在小数据时代，由于收集的样本信息量比较少，所以必须确保记录下来的数据尽量结构化、精确化，否则，分析得出的结论在推及总体上就会“南辕北辙”，因此，就必须十分注重精确思维。然而，在大数据时代，得益于大数据技术的突破，大量的非结构化、异构化的数据能够得到储存和分析，这一方面提升了我们从数据中获取知识和洞见的能力，另一方面也对传统的精确思维造成了挑战。舍恩伯格指出，“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户”。也就是说，在大数据时代，思维方式要从精确思维转向容错思维，当拥有海量即时数据时，绝对的精准不再是追求的主要目标，适当忽略微观层面上的精确度，容许一定程度的错误与混杂，反而可以在宏观层面拥有更好的知识和洞察力。 　　相关思维 在小数据世界中，人们往往执着于现象背后的因果关系，试图通过有限样本数据来剖析其中的内在机理。小数据的另一个缺陷就是有限的样本数据无法反映出事物之间的普遍性的相关关系。而在大数据时代，人们可以通过大数据技术挖掘出事物之间隐蔽的相关关系，获得更多的认知与洞见，运用这些认知与洞见就可以帮助我们捕捉现在和预测未来，而建立在相关关系分析基础上的预测正是大数据的核心议题。通过关注线性的相关关系，以及复杂的非线性相关关系，可以帮助人们看到很多以前不曾注意的联系，还可以掌握以前无法理解的复杂技术和社会动态，相关关系甚至可以超越因果关系，成为我们了解这个世界的更好视角。舍恩伯格指出，大数据的出现让人们放弃了对因果关系的渴求，转而关注相关关系，人们只需知道“是什么”，而不用知道“为什么”。我们不必非得知道事物或现象背后的复杂深层原因，而只需要通过大数据分析获知“是什么”就意