大数据与我们的生活.pdfVIP

大数据与我们的生活 2013 年被称为“大数据元年”，这一年几乎所有的世界级互联网企业，都将业务触角 延伸至大数据产业；无论社交平台逐鹿、电商价格大战还是门户网站的竞争，都有它的影子。 如今，一个大规模生产、分享和应用数据的时代正在开启。《大数据时代》的作者维克托教 授曾说，大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，绝大部 分都隐藏在表面之下。互联网的出现使得我们身边的社交网络，电子商务与移动通信把人类 社会带入了一个以“PB”（1024TB ）为单位的结构与非结构数据的新时代。而发掘数据价 值、征服数据海洋的“动力”就是云计算。云计算出现之前，传统的计算机是无法处理如此 量大并且不规则的“非结构数据”的。而以云计算为基础的信息存储、分享和挖掘手段，可 以便宜、有效地将这些大量、高速、多变化的终端数据存储下来，并随时进行分析与计算。 大数据与云计算是一个问题的两个方面：一个是问题，一个是解决问题的方法。那么在这里 普及一下 计算的概念。 计算(Cloud Computing) 是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，或者 说是这些计算机科学概念的商业实现。云计算的基本原理是，通过使计算分布在大量的分布 式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这 使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。它意味着计算 能力也可以作为一种商品进行流通，就像煤气、水电一样，取用方便，费用低廉。最大的不 同在于，它是通过互联网进行传输的。这里我们没有必要将云计算的概念搞得十分透彻，因 为它本身就像云一样，我们只需要知道它可以为我们提供本地主机无法提供的超强计算能力 和各种服务，可以用云计算的方式解决许多在原本看来无法解决的问题。 我们回到正题，什么是大数据？ 对于“大数据”（Big data ）研究机构Gartner 给出了这样的定义。“大数据”是需 要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样 化的信息资产。 在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的 《大数据时代》中，大数据指不用随机 分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。 而IBM则提出了大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多 样）、Veracity（精确）、Value（价值）。大量是指数据量的规模可以从数百TB到数十百TB 甚至 EB。高速是指大数据需要在一定的时间限度下得到及时的处理。多样是指大数据包括 各种格式和形态的数据。精确是指大数据的处理结果要保证一定的准确性。价值则是大数据 的根本所在。 数据的收集方式有很多方法，通过浏览器可以获取用户上网的浏览记录，搜索引擎可以 轻而易举地获取全球每天发出的数十亿条搜索指令，购物网站可以得到顾客的购买记录，也 可以根据人们在社交软件上面的聊天记录来收集有用的信息，还可以通过让别人做网页上面 的答卷来收集信息，知道人们对于一种东西的看法和态度。 这些收集起来的数据就会全部都储藏在一起，然后有用的时候就会用特殊的软件来分析 处理这些数据，国家有国家的数据，很多的公司也有自己的数据库，一个公司的数据库越大 就代表了这个公司的实力越强，未来发展的可能性也就越大越好。 当然这些数据最主要的并不是绝对的大，而是有用的信息比较多，覆盖的范围比较广， 是一种相对的大。这样分析出来的结果也就越准确，这些数据可以准确的反映现在社会上面 发生的事情和现在人们的心理状态，可以预测到很多事情的未来的发展方向，有的公司可以 根据这些数据发现自己的不足和管理漏洞，及时的改变和处理，延长企业的寿命，增加企业 的资产和竞争能力。通过数据，也可以知道现在社会上面主流的东西是什么，只有抓住主流 的社会，才能跟上时代的步伐，顺应历史的潮流，抓住机遇，发展自己的公司和事业。 大数据时代的三个转变 大数据的精髓在于我们分析信息时的三个转变，这些转变将改变我们理解和组建社会的 方法。 第一个转变就是，在大数据时代，我们可以分析更多的数据，有时候甚至可以处理和某 个特别现象相关的所有数据，而不再依赖于随机采样。19世纪以来，当面临大量数据时， 社会都依赖于采样分析，但采样分析是信息缺乏时代和信息流受限制的模拟数据时代的