每晚正能量(15从假想时代到数据时代.docVIP

从假想时代到数据时代 ——读维克托《大数据时代》一书有感 未来的十年，将是大数据引领下的智慧科技时代。不管你是否意识到它的存在，大数据都将越来越快地改变我们这个时代，包括我们的生活方式。 维克托·迈尔-舍恩伯格是最早洞见大数据时代发展趋势的数据科学家之一。他通过一个大家熟知的事例，来帮助我们理解“大数据”的潜在影响力，那就是四个世纪之前望远镜和显微镜的发明。望远镜能够让我们感受宇宙，显微镜能够让我们观测微生物，它们都是收集海量数据的新工具，因为这种工具的发明，人们同步更新了分析数据的技术和方法，促进了人们对世界更好的理解。如果说望远镜和显微镜是测量领域中的一场革命，那么今天的数据测量就相当于是现代版的望远镜、显微镜。随着社交网络的逐渐成熟，移动带宽迅速提升，云计算、物联网应用更加丰富，以及更多的传感设备、移动终端接入到网络，由此产生的数据及数据的增长速度比历史上的任何时期都要多、都要快。一个大数据的时代，不经意间顺理成章地翩然而至。 一、什么是大数据？ 大数据是当前最热门的话题之一。但什么是大数据，人们尚未给出确切的定义。首先，“大数据”是相对过去小的、局部性的数据而言的；其次，利用大数据进行分析和工作时，所依据的关于此事尽可能完整的数据，从而“一览众山小”，而不是采用局部的小数据，从局部推断整体。 维克托也并未直接给出大数据的定义。不过，他用三大转变描述了大数据的特性： 转变之一：在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某个特别现象相关的所有数据，而不再依赖于随机采样。例如一项针对相扑比赛中非法操纵比赛结果的研究对64000场比赛进行了分析，这算不上一个很大的数字，但由于这是过去十年所有的比赛，所以它是大数据。 转变之二：由于有了更多的数据，我们可以接受更多的混杂、更多数据上的不精确。如果我们对于一个事物只有50个数据点，那么每一个数据点都必须非常精确，因为每个数据点都是有用的；但是如果我们有5000万个，去掉10个，甚至去掉1000个都没有太大的问题。 转变之三：不再探求难以捉摸的因果关系，转而关注事物的相关关系。分析大数据主要为了预测未来“是什么”，而不是“为什么”。因为很多时候我们以为我们找到了事情背后的原因，实际上却没有找到。更多时候知道了“是什么”就足够了。例如知道流感将会扩散到哪里就足够了，我不需要知道为什么；知道什么时候在网上购买机票能够获得最优惠的价格就足够了，我不需要知道为什么此时价格最低。 二、大数据带来的变化 大数据从根本上改变我们认识世界和改变世界的方式。很多传统的习惯将被颠覆，很多旧的制度将面临挑战。举例来说： 第一，科学探究的思路和方式受到挑战 探究是新课程改革中的一个热词，是促进学校教学与科学研究相融合的实践举措。科学探究的基本路径是：发现问题，提出假设，制定方案，实践探究，分析数据，得出结论。之所以会梳理出这样一个探究的路径，与我们对问题知晓的信息过少有关。换句话说，对所要研究的事物，我们知道的数据很少，需要从这些很小的数据出发，通过猜想和假设，进行试探性的研究，如果研究得出的结果和自己的假想是一致的，则说明我们的假说是正确的，这些假说会上升为对该事物描述的知识，我们掌握该事物的数据也随之增加。 利用测量所获得的点滴数据，从一个局部来推测世界是怎样的，这是科学探究的基本思路和方式。长期以来，我们总是通过这样的方式来认识世界，对其有宗教般的信仰。尽管我们知道，决策者总是先有了想法，才会提出假设。如果决策者自身对所研究的事情存在着偏见，所提出的假设就很难得到实证的支持，这往往会导致探究花费了很长的时间、很大的物力和财力，也常常劳而无功。但科学研究者还是坚定不移地沿着这条道路前行，学校在教学中也将其作为科学研究的基本规范来传授。 在大数据时代，这样的研究方式收到了极大的挑战。先举个事例来说吧。手机辐射是否能够致癌？关于这个问题，无论我们的假设如何，实验的设计都很难进行。首先，样本选择过少，没有统计学上的意义；其次，不能拿人做研究对象；第三，短时间的研究很难观察到变化。有了大数据之后，这样的难题就可以迎刃而解了。前段时间，丹麦就进行了这样的研究。丹麦拥有1985年手机推出以来所有手机用户的数据库。他们从这个数据库中分析了1990年至2007年拥有手机的所用用户的数据，同时，他们还收集了这一期间医院收集的所有癌症患者的数据，然后分析手机用户是否比非手机用户有更高的癌症发病率。这两个数据库本身是完全独立的，在作分析之前从来没有想过可以做这样的研究。结果表明，使用移动用户和癌症风险增加之间不存在任何关系。2011年10月，这一研究的结果发表在《英国医学杂志》上。 上述的案例告诉我们，在获得了大量的数据，能够对事物的整体进行全面的认识之后，假想就没有意义了，我们可以直接根据全面的数据