大数据带来的四种思维.doc

大数据带来的四种思维 作者：张义祯 　　近年来大数据技术的快速发展深刻改变了我们的生活、工作和思维方式。大数据研究专家舍恩伯格指出，大数据时代，人们对待数据的思维方式会发生如下三个变化：第一，人们处理的数据从样本数据变成全部数据；第二，由于是全样本数据，人们不得不接受数据的混杂性，而放弃对精确性的追求；第三，人类通过对大数据的处理，放弃对因果关系的渴求，转而关注相关关系。事实上，大数据时代带给人们的思维方式的深刻转变远不止上述三个方面。笔者认为，大数据思维最关键的转变在于从自然思维转向智能思维，使得大数据像具有生命力一样，获得类似于“人脑”的智能，甚至智慧。 　　总体思维 社会科学研究社会现象的总体特征，以往采样一直是主要数据获取手段，这是人类在无法获得总体数据信息条件下的无奈选择。在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。正如舍恩伯格总结道：“我们总是习惯把统计抽样看作文明得以建立的牢固基石，就如同几何学定理和万有引力定律一样。但是，统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史不足一百年。如今，技术环境已经有了很大的改善。在大数据时代进行抽样分析就像是在汽车时代骑马一样。在某些特定的情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。”也就是说，在大数据时代，随着数据收集、存储、分析技术的突破性发展，我们可以更加方便、快捷、动态地获得研究对象有关的所有数据，而不再因诸多限制不得不采用样本研究方法，相应地，思维方式也应该从样本思维转向总体思维，从而能够更加全面、立体、系统地认识总体状况。 大数据是数据数量上的增加，以至于我们能够实现从量变到质变的过程。 如：照片到电影，一分钟一张，一秒钟一张，一秒钟24张成了电影 量变质变定律有时间阶段发展影响和空间相关关联影响 离散思维向连续思维转换 让我来告诉大家，美国有一家创新企业D。它可以帮助人们做购买决策，告诉消费者什么时候买什么产品，什么时候买最便宜。预测产品的价格趋势。这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据，然后帮助数以十万计的用户省钱，为他们的采购找到最好的时间，提高生产率，降低交易成本，为终端的消费者带去更多价值。 在这类模式下，尽管一些零售商的利润会进一步受挤压，但从商业本质上来讲，可以把钱更多地放回到消费者的口袋里，让购物变得更理性。这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司，在几个星期前，被ebay以高价收购。 再举一个例子，SWIFT是全球最大的支付平台，在该平台上的每一笔交易都可以进行大数据的分析。他们可以预测一个经济体的健康性和增长性。比如，该公司现在为全球性客户提供经济指数，这又是一个大数据服务。 当然，相关关系并不是大数据洞察的终结目标。在很多情况下，一旦我们完成了对大数据的相关关系分析，而又不再满足于仅仅“是什么”时，我们就会继续朝向因果关系的研究，寻求“为什么”，并且基于相关关系的分析，进一步寻求因果关系将会大大降低其分析成本。其实，因果关系就是一种特殊的相关关系。思维变化：1.不是随机样本，而是全体数据；2.不是精确性，而是混杂性，尤其是大数据的简单算法比小数据的复杂算法有效；3.不是因果关系，而是相互关系。 《大数据时代》一书提醒读者，大数据是全数据，至少维度要全，这带来了观察和分析事物的角度变化，尤其相对于传统IT系统数据，大数据强调了数据的外部性和实时性，这两个特性也使得“证析”提到的基于事实（Evidence）的分析成为可能，不过此书忽略了外部数据与企业内部数据结合的分析价值。比如，对于政府来说，分析大范围的公共卫生事件、传染病可以更快地利用大数据（比如微博）发现目前的情况，但具体要调度资源，还是需要结合“小数据”的精确决策。 第2点的核心观念关于大数据的简单算法来自谷歌的洞见，也来自于Hadoop（一个分布式系统基础架构，由Apache基金会开发）这类算法的核心理念。大数据的简单算法是一种统计学的逻辑，这个如同热力学的分析模式，热力学并不关心具体的分子运动，而是关心温度、体积、压强之间的宏观联系，关于这种理念的内在理解，建议读者从吴军的《数学之美》一书中获得，只有真正理解了大数据基于统计学的思维方式，才能理解它的独特优势和局限。这种方式可以解决以往技术无法解决的大范围、实时性和并行处理等问题，并带来新的洞见，它用概率说话，并不是和人就细节较真。这个来自互联网公司的观念是，希望先解决80%的趋势问题，然后慢慢精细化。 第3点，大数据关注“是什么”，而不是“为什么”，经常网购的人会更容易体会。很多电商网站的推荐引擎具备这种