发展揭秘全程破解大数据.DOC

第1章 发展揭秘：全程破解大数据 大数据这一IT新技术的兴起是互联网发展的结果，也是各行业日趋互联网化的重要表现。 全新IT时代下的大数据有其独特的魅力，吸引着人们去了解和探究。本章将带领读者一步步深入了解有关大数据的发展与影响的相关知识。  1.1 相关了解，全面分析 在互联网迅速发展的时代背景下，社会信息类数据量剧增，由此带来的数据累积效应明显。更重要的是，它带来了数据资产方面企业竞争的加剧，各行业的互联网化和大数据趋势日益明显。顾名思义，大数据即大量、海量的数据。本节将从5个方面对大数据的相关知识进行了解，具体如图1-1所示。 了解 图1-1 大数据的内容 1.1.1 大数据的发展历程 大数据的产生是互联网发展和信息数据化的结果。在新的时代背景下，数据不断发展和累积，如图1-2所示。 形 成 图1-2 数据的累积 在这一发展环境下，多样性、海量的数据在人们生活中随时产生并存在，而这些数据化的信息若要加以综合利用，必须对其进行处理，大数据技术应运而生。其实关于数据的处理，早在1890年就已经出现，发展至今，已经形成了系统化和专门化的IT新技术，其发展历程如表1-1所示。 表1-1 大数据技术的发展历程 年 份 人物/机构 事 件 1890 (美)赫尔曼·霍尔瑞斯 发明了一台用于读取数据的电动器，由此引发了全球范围内的数据处理新纪元 1961 美国国家安全局(NSA) 采用计算机自动收集、处理超量的信号情报，并对积压的模拟磁盘信息进行数字化处理 1997 (美)迈克尔?考克斯和大卫?埃尔斯 提出了“大数据问题”，认为超级计算机生成大量不能被处理和可视化的信息，超出各类存储器的承载能力。这是人类史上第一次使用“大数据”这个词 2009 印度身份识别管理局扫描12亿人的指纹、照片虹膜分配12位的数字ID号码将数据汇集到生物识别数据库中 变 化 表 现 变 化 图1-4 大数据的产生 综上所述，所谓“大数据”，即在传统数据库软件工具条件下，在一定时间内，对其内容无法进行挖掘、管理和分析处理的数据集合。 1.1.2 大数据的4大特征 大数据，总的来说，其特征可以用一个字来概括——大。从这一总特征入手，根据“大”这一修饰语在数据方面的大量、发展快的含义而言，大数据的基本特征主要表现在4个方面，具体内容如图1-5所示。 图1-5 大数据的基本特征 可见，相较于单纯强调体量的海量数据，大数据具有非常明显的特征，即上述所示的4个基本特征，又称为“4V”特征，即体量(Volume)大、种类(Variety)多、密度(Density)低和速度(Velocity)快。 基于上述特征的大数据具有不同于互联网的革命性发展，其正以巨大的力量改变世界，成为企业、机构等的强大的信息资产，如图1-6所示。 导致 引发 改变 从 而 更 强 图1-6 大数据时代下的信息资产 1.1.3 大数据增长的结构类型 数据量急剧增长导致的数据量大是大数据的主要特征，在海量的数据中，其结构的复杂性可想而知；反过来，大数据的结构又体现了其突出的增长趋势。关于大数据增长的结构类型，具体如图1-7所示。 占比 包括 占比 包 括 图1-7 大数据增长的结构类型 由图1-7可以看出，大数据的增长大多表现为不是结构化的数据类型，具体表现如图1-8所示。 图1-8 大数据增长日益趋向非结构化 相对于不是结构化的数据增长类型而言，结构化数据明显较少。关于结构化数据，具体内容如图1-9所示。 图1-9 结构化数据 上面所述大数据结构的复杂性，必然导致其在进行大数据处理时的技术和方法方面具有选择性，如图1-10所示。  首选 方法 对 象 图1-10 大数据的分析和处理 1.1.4 大数据发展的三大趋势 随着人们对大数据的了解，关于“大数据”的认知超出了其数据形式本身的范畴，已经作为一种企业必要的元素和企业应用联系起来。从这一方面来说，大