《Hadoop技术原理》课件——1.初识Hadoop.pptx

Hadoop技术原理

初识Hadoop

大数据概述

·数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段

2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新

h=dogp

Hadoop成为Apache

顶级项目，重点支持海量数据分布式管理和分布式计算

关系型

数据库ORACLE发布第一个商用SQL关系数据库，后续快速

发展

1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分

数据仓库开

始涌现，关系数据库开始全面普及且平台无关，进入成熟期

大数据技术概述

第一台计

算机

ENIAC面世

SQL

SQL语言被发明

磁盘被发明，进入文

件管理时代

IBM

E.F.Dodd提出关系模型

磁带+卡片

人工管

理

01

的要求

网络型

E-R

·数据量剧增→海量数据

超过150亿个设备连接到互联网

全球每秒钟发送290万封电子邮件

每天有2.88万小时视频上传到YoutubeFacebook每日评论达32亿条，每天上 传照片近3亿张，每月处理数据总量约

130万TB

预计2020年将增长到35ZB

大数据技术概述

IDC全球数据量预测(1ZB=1百万PB=10亿TB)

·大数据(BigData)正迅速成为最值得关注的IT领域之一

2011年5月，EMCWorld2011大会主题“云计算相遇大数

据”,EMC除了一直倡导的云计算外，还抛出大数据(Big

Data)概念

2011年6月底，IBM、麦肯锡等众多国外机构发布大数据相关研究报告，予以积极跟进

Google网站Bigdata关键词搜索及新闻引用量

internetofthings●bigdata

Goog1oTronds

I1

2005200620072003200920102011

搜索量指数

0

2004

新闻引用量

大数据技术概述

03

0

·大数据的定义

大数据这一概念，首先要从大入手，大是指数据规模，大数据一般指在

10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别。具有4V的，才是大数据

Variety

大数据的4V特征

Value

高速数据I/0互联网连接设备数量增长

快速化(Velocity)

价值密度低(Value)

Volume

Velocity

搜索引擎

社交网络

通话记录

传感器

结构化的数据

非结构化的数据

大数据技术概述

来源多

o

格式多

存储量大增量大

大量化(Volume)

04

多样化(Variety)

·大数据技术：

指从各种各样类型的巨量数据中，快速获得有价值信息的技术。而解决大数据问题的核心是大数据技术。

·大数据技术要面对的基本问题，也是最核心的问题：

就是海量数据如何可靠存储和高效计算。

大数据技术概述

05

2004年

2008年

2011年

自

MapReduce论文发

Hadoop成为Apache

Twitter提供开源产品

MoreMore

表

顶级项

Storm

(1)Hadoop发布HBase

(2)GNU发布Mongodb

(3)Vmware提供开源产品Redis

2003年2006年2010年2014年

Spark成为了Apache的顶级项目

GFS论文发表BigTable论文发表

大数据技术概述

·大数据技术的发展

06

Google的“三驾马车”

·传统存储方案

集中式的存储，集中式的计算

希望采购更高配置的机器来搭建系统，成本太高。对于更大规模存储和计算遇到瓶颈，扩展比较难

关系型数据库

集中式

系统

硬盘/磁盘阵1i

列

图片、视频等文件存储

07

用户

·Googel的低成本之道

不使用超级计算机，不使用存储(去IOE)

大