Chapter厦门大学林子雨大数据技术原理与应用第一章大数据概述.ppt

Chapter厦门大学林子雨大数据技术原理与应用第一章大数据概述.ppt

  1. 1、本文档共33页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
Chapter厦门大学林子雨大数据技术原理与应用第一章大数据概述

主讲教师和助教 单位:厦门大学计算机科学系 E-mail: ziyulin@ 个人网页:/linziyu 数据库实验室网站: 主讲教师:林子雨 单位:厦门大学计算机科学系数据库实验室2013级硕士研究生(导师:林子雨) E-mail: caiminxing@126.com 助教:蔡珉星 欢迎访问《大数据技术原理与应用——概念、存储、处理、分析与应用》 教材官方网站:/post/bigdata Department of Computer Science, Xiamen University, June, 2015 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@ 厦门大学计算机科学系 2015年版 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页:/linziyu 第一章 大数据概述 (PPT版本号:2015年6月第1.0版) 《大数据技术原理与应用》 /post/bigdata 温馨提示:编辑幻灯片母版,可以修改每页PPT的厦大校徽和底部文字 提纲 1.1 大数据时代 1.2 大数据概念 1.3 大数据的影响 1.4 大数据的应用 1.5 大数据关键技术 1.6 大数据计算模式 1.7 大数据产业 1.8 大数据与云计算、物联网的关系 欢迎访问《大数据技术原理与应用》教材官方网站: /post/bigdata 本PPT是如下教材的配套讲义: 21世纪高等教育计算机规划教材 《大数据技术原理与应用 ——概念、存储、处理、分析与应用》 (2015年6月第1版) 厦门大学 林子雨 编著,人民邮电出版社 ISBN:978-7-115-39287-9 1.1大数据时代 1.1.1第三次信息化浪潮 根据IBM前首席执行官郭士纳的观点,IT领域每隔十五年就会迎来一次重大变革 信息化浪潮 发生时间 标志 解决问题 代表企业 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等 第二次浪潮 1995年前后 互联网 信息传输 雅虎、谷歌、阿里巴巴、百度、腾讯等 第三次浪潮 2010年前后 物联网、云计算和大数据 信息爆炸 将涌现出一批新的市场标杆企业 表1-1 三次信息化浪潮 1.1.2信息科技为大数据时代提供技术支撑 图1-1 存储价格随时间变化情况 1. 存储设备容量不断增加 1.1.2信息科技为大数据时代提供技术支撑 图1-3 CPU晶体管数目随时间变化情况 2. CPU处理能力大幅提升 1.1.2信息科技为大数据时代提供技术支撑 图1-4 网络带宽随时间变化情况 3. 网络带宽不断增加 1.1.3数据产生方式的变革促成大数据时代的来临 图1-5 数据产生方式的变革 1.1.4 大数据的发展历程 阶段 时间 内容 第一阶段:萌芽期 上世纪90年代至本世纪初 随着数据挖掘理论和数据库技术的逐步成熟,一批商业智能工具和知识管理技术开始被应用,如数据仓库、专家系统、知识管理系统等。 第二阶段:成熟期 本世纪前十年 Web2.0应用迅猛发展,非结构化数据大量产生,传统处理方法难以应对,带动了大数据技术的快速突破,大数据解决方案逐渐走向成熟,形成了并行计算与分布式系统两大核心技术,谷歌的GFD和MapReduce等发数据技术受到追捧,Hadoop平台开始大行其道 第三阶段:大规模应用期 2010年以后 大数据应用渗透各行各业,数据驱动决策,信息社会智能化程度大幅提高 表1-2 大数据发展的三个阶段 1.2大数据概念 1.2.1 数据量大 根据IDC作出的估测,数据一直都在以每年50%的速度增长,也就是说每两年就增长一倍(大数据摩尔定律) 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年,全球将总共拥有35ZB的数据量,相较于2010年,数据量将增长近30倍 1.2.2 数据类型繁多 大数据是由结构化和非结构化数据组成的 10%的结构化数据,存储在数据库中 90%的非结构化数据,它们与人类信息密切相关 非结构化数据类型多样 邮件、视频、微博 位置信息、链接信息 手机呼叫、网页点击 “长微博” 1.2.3 处理速度快 从数据的生成到消耗,时间窗口非常小,可用于生成决策的时间非常少 1秒定律:这一点也是和传统的数据挖掘技术有着本质的不同 1.2.4 价值密度低 价值密度低,商业价值高 以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒,但是具有很高的商业

文档评论(0)

173****7830 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档