Chapter厦门大学林子雨大数据技术原理与应用第一章大数据概述.ppt

主讲教师和助教 单位：厦门大学计算机科学系 E-mail: ziyulin@ 个人网页：/linziyu 数据库实验室网站： 主讲教师：林子雨 单位：厦门大学计算机科学系数据库实验室2013级硕士研究生（导师：林子雨） E-mail: caiminxing@126.com 助教：蔡珉星 欢迎访问《大数据技术原理与应用——概念、存储、处理、分析与应用》 教材官方网站：/post/bigdata Department of Computer Science, Xiamen University, June, 2015 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@ 厦门大学计算机科学系 2015年版 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页：/linziyu 第一章 大数据概述（PPT版本号：2015年6月第1.0版） 《大数据技术原理与应用》 /post/bigdata 温馨提示：编辑幻灯片母版，可以修改每页PPT的厦大校徽和底部文字 提纲 1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据的应用 1.5 大数据关键技术 1.6 大数据计算模式 1.7 大数据产业 1.8 大数据与云计算、物联网的关系 欢迎访问《大数据技术原理与应用》教材官方网站： /post/bigdata 本PPT是如下教材的配套讲义： 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 （2015年6月第1版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9 1.1大数据时代 1.1.1第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点，IT领域每隔十五年就会迎来一次重大变革 信息化浪潮 发生时间 标志 解决问题 代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等 第二次浪潮 1995年前后 互联网 信息传输 雅虎、谷歌、阿里巴巴、百度、腾讯等 第三次浪潮 2010年前后 物联网、云计算和大数据 信息爆炸 将涌现出一批新的市场标杆企业 表1-1 三次信息化浪潮 1.1.2信息科技为大数据时代提供技术支撑 图1-1 存储价格随时间变化情况 1. 存储设备容量不断增加 1.1.2信息科技为大数据时代提供技术支撑 图1-3 CPU晶体管数目随时间变化情况 2. CPU处理能力大幅提升 1.1.2信息科技为大数据时代提供技术支撑 图1-4 网络带宽随时间变化情况 3. 网络带宽不断增加 1.1.3数据产生方式的变革促成大数据时代的来临 图1-5 数据产生方式的变革 1.1.4 大数据的发展历程 阶段 时间 内容 第一阶段：萌芽期 上世纪90年代至本世纪初 随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。 第二阶段：成熟期 本世纪前十年 Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方案逐渐走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的GFD和MapReduce等发数据技术受到追捧，Hadoop平台开始大行其道 第三阶段：大规模应用期 2010年以后 大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高 表1-2 大数据发展的三个阶段 1.2大数据概念 1.2.1 数据量大 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍 1.2.2 数据类型繁多 大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关 非结构化数据类型多样 邮件、视频、微博 位置信息、链接信息 手机呼叫、网页点击 “长微博” 1.2.3 处理速度快 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同 1.2.4 价值密度低 价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业