大数据技术原理与应用：概述.pdfVIP

《大数据技术原理与应用》 /course/XMU-1002335004 中国大学MOOC 2018年春季学期 第1讲大数据概述 1.1大数据时代 1.1.1第三次信息化浪潮 • 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革 表1-1 三次信息化浪潮 信息化浪潮 发生时间 标志 解决问题 代表企业 Intel、AMD 、IBM、苹 第一次浪潮 1980年前后 个人计算机 信息处理 果、微软、联想、戴 尔、惠普等 雅虎、谷歌、阿里巴 第二次浪潮 1995年前后 互联网 信息传输 巴、百度、腾讯等 物联网、云计 将涌现出一批新的市 第三次浪潮 2010年前后 信息爆炸 算和大数据 场标杆企业 1.1.2信息科技为大数据时代提供技术支撑 1. 存储设备容量不断增加 图1-1 存储价格随时间变化情况 1.2信息科技为大数据时代提供技术支撑 来自斯威本科技大学（Swinburne University of Technology ）的研究团队，在2013年 6月29 日刊出的《自然通讯（Nature Communications）》杂志的文章中，描述了一 种全新的数据存储方式，可将1PB （1024TB）的数据存储到一张仅DVD大小的聚合 物碟片上。 1.1.2信息科技为大数据时代提供技术支撑 2. CPU处理能力大幅提升 图1-3 CPU晶体管数目随时间变化情况 1.1.2信息科技为大数据时代提供技术支撑 3. 网络带宽不断增加 图1-4 网络带宽随时间变化情况 1.1.3数据产生方式的变革促成大数据时代的来临 图1-5 数据产生方式的变革 1.1.4 大数据的发展历程 表1-2 大数据发展的三个阶段 阶段 时间 内容 随着数据挖掘理论和数据库技术的逐步成熟，一批 第一阶段：萌芽 上世纪90年代 商业智能工具和知识管理技术开始被应用，如数据 期 至本世纪初 仓库、专家系统、知识管理系统等。 Web2.0应用迅猛发展，非结构化数据大量产生， 传统处理方法难以应对，带动了大数据技术的快速 第二阶段：成熟 突破，大数据解决方案逐渐走向成熟，形成了并行 本世纪前十年 期 计算与分布式系统两大核心技术，谷歌的GFS和 MapReduce等大数据技术受到追捧，Hadoop平台