大数据-互联网新的制点高点.doc

大数据-互联网新的制高点 　　在淘宝十周年及阿里巴巴集团前CEO马云的卸任晚会上，马云说道：“大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联网的时候，大数据时代来了。”马云这句话威力巨大，导致第二周中国股市里许多与大数据相关企业的股票的涨停。这也充分证明大数据已经得到当今社会的一致认同。 　　那什么是大数据呢？它的价值在哪里？它颠覆了那些传统的行为方式？它最终会给我们这个纷繁复杂的社会带来怎样的重大变革？迈尔-舍恩伯格的《大数据时代》是解答这些疑问最权威的著作。 　　那什么是大数据呢？书中做出了自己的解释：大数据是建立在海量数据的基础之上，对未来预测的能力，大数据的核心就是预测。对未来准确的预测能力，或许能算一种人类梦寐以求的终极能力，回顾人类的历史，我们会发现人类的发展几乎都是在不停和未知的不确定性事物做斗争，不管是个人还是组织甚至大到民族和国家，只有正确的掌控未来的发展方向才会一直保有旺盛的生命力，而错误的理解未来一定会付出惨痛的代价，甚至最终灭亡。人类对未来预测能力的渴求由来已久，所以才会产生很多浪漫的神鬼故事和超人的传说。而现在计算机技术的发展，给人类带来可以预测未来的技术，未来不再那么飘忽不定，而是可以通过一定手段进行近乎准确的预测，这样的能力在古代只能存在于上帝的手中，而现在呢，只要你学习掌控了大数据的能力，你就能拥有上帝般的能力，这就像尼采所说的“上帝已死”，人人皆有可能成为上帝，因此大数据的到来，必定开启一个重大时代的转型。 　　大数据是赋予数据一种全量分析的新能力，这新能力的效果可以类比互联网通过给计算机添加通信功能而改变了世界的例子。这也是大数据能产生伟大能量的动力之源。那么什么是全量分析的新能力呢？在大数据兴起之前，我们是身处在一个小数据时代，小数据时代的数据分析的方式是采样分析，方法的核心是使用最少的数据获取最多的信息，小数据时代的保证数据分析准确性的前提是采样的随机性，采样的随机性越高，分析结果的准确性也就越高，而采样样本的增多不会对分析结果的准确性有太大的影响，因此采样分析的方法里有一个核心的理念：认为样本的随机性比样本的数量更加的重要，但是随机性的定义往往是很难做到准确，并且随机性的定义里很容易掺杂认识事物的偏见，从而导致最终分析的结果和实际的结果相去甚远，小数据时代的分析是一个妥协性的技术，它是因为人类还没有掌握大规模数据存储和分析能力的无奈选择。而现在，随着技术的发展，特别是互联网技术的发展，人类拥有了大规模数据存储和分析能力，对数据的分析我们不用在假设随机性采样的前提，而是可以直接对全量的数据进行运算和分析，量变产生质变，全量数据的分析导致分析的结果更加接近于事实的真相。数据拥有了更好挖掘其价值的手段，这种新能力的出现和互联网的出现同样的伟大。 　　大数据同时还改变了人类传统预测未来的方式。传统的预测未来的方式是研究事物之间的因果关系，什么样的结果一定是由什么样的原因所引起，在采样分析的时代里，我们常常会在随机性的定义上强加那些能推导出预定结果的原因，采样分析的偏见也就由此产生。大数据时代的数据分析不再是分析事物间的因果关系，而是通过事物之间的相关关系进行分析，相关关系分析的核心是量化两个数据之间的数理关系，当其中一个数据值增加的时候，另一个数据的数值也可能随之增加，因此可以由一个数据的变化推导出另一个数据变化的结果，书中有很多例子描述这种相关关系的分析方法，例如谷歌通过搜索的关键字预测了流感爆发的时间、地点和规模；沃尔玛通过相关关系分析，发现飓风来临时候蛋挞的销售会猛增，因此在飓风来临之前将蛋挞和飓风用品摆放在一起。所以大数据会给人类带来新的价值观：知道是什么结果就够了，没必要去关心这个结果产生的原因。我个人相信这种新的预测未来的方式比因果分析方式所带来的变革更加深远，人类不会再拘泥于有因必有果的怪圈，而是能更加自由和大胆的去探索那些未知的领域。 　　一个能产生巨大能力的技术必然会催生一个实现它价值的新组织，大数据也不会例外。本书的作者总结了大数据的三大价值来源：数据本身、技能和思维，这三个价值来源也会催生三种不同类型的公司，它们分别是基于数据本身的公司、基于技能的公司和基于思维的公司。基于数据的公司是拥有大规模数据，但是没有挖掘数据技能的公司；基于技能的公司则是那些提供挖掘数据价值的能力公司；而第三种基于思维的公司是指有怎样挖掘数据的新价值的独特想法的公司。而当下正处在大数据时代的早期，因此前两种公司会显得特别突出，因为现今处理大数据的技术仍热十分欠缺而能拥有大规模数据的公司也是少数，但是技术的鸿沟会随着时间的推移而被填平同时采集大规模数据的手段也会变得越来越容易，未来肯定是最后一种公司才会从大数据里攫取最多的价值。书看到这里迈尔-舍恩伯格终于写到了大数据对企业对行业的