《Hadoop技术原理》课件——1.初识Hadoop.pptxVIP

Hadoop技术原理初识Hadoop

大数据概述01

大数据技术概述01194619511956196119701974197919912001200320082011第一台计算机ENIAC面世磁带+卡片人工管理磁盘被发明，进入文件管理时代网络型SQLE-RGE公司发明第一个网络模型数据库，但仅限于GE自己的主机1960年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导IBME.F.Dodd提出关系模型SQL语言被发明关系型数据库ORACLE发布第一个商用SQL关系数据库，后续快速发展数据仓库数据仓库开始涌现，关系数据库开始全面普及且平台无关，进入成熟期2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新的要求1946年，电脑诞生，数据与应用紧密捆绑在文件中，彼此不分Hadoop成为Apache顶级项目，重点支持海量数据分布式管理和分布式计算GFS谷歌发表论文介绍分布式文件系统数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段

大数据技术概述02数据量剧增→海量数据超过150亿个设备连接到互联网全球每秒钟发送290万封电子邮件每天有2.88万小时视频上传到YoutubeFacebook每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB预计2020年将增长到35ZBIDC全球数据量预测（1ZB=1百万PB=10亿TB）

大数据技术概述03大数据（BigData）正迅速成为最值得关注的IT领域之一2011年5月，EMCWorld2011大会主题“云计算相遇大数据”，EMC除了一直倡导的云计算外，还抛出大数据（BigData）概念2011年6月底，IBM、麦肯锡等众多国外机构发布大数据相关研究报告，予以积极跟进Google网站Bigdata关键词搜索及新闻引用量

大数据技术概述04VolumeVelocityValueVariety大数据的定义大数据这一概念，首先要从大入手，大是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别。具有4V的，才是大数据

大数据技术概述05大数据技术：指从各种各样类型的巨量数据中，快速获得有价值信息的技术。而解决大数据问题的核心是大数据技术。大数据技术要面对的基本问题，也是最核心的问题：就是海量数据如何可靠存储和高效计算。

大数据技术概述06大数据技术的发展

Google的“三驾马车”07传统存储方案集中式的存储，集中式的计算希望采购更高配置的机器来搭建系统，成本太高。对于更大规模存储和计算遇到瓶颈，扩展比较难

Google的“三驾马车”08Googel的低成本之道不使用超级计算机，不使用存储（去IOE）大量使用普通的pc服务器，提供有冗余的集群服务

Google的“三驾马车FS022004MapReduce032006BigTable《TheGoogleFileSystem》《MapReduce:SimplifiedDataProcessingonLargeClusters》MapReduce：大型集群上的简单数据处理《Bigtable:ADistributedStorageSystemforStructuredData》Bigtable：一个分布式的结构化数据存储系统

Google的“三驾马车”10Google思想一：GFS分布式文件系统客户端服务端

Google的“三驾马车”11GFS分布式文件系统架构ChunkServer-块服务器Chunk-块Master--主节点

Google的“三驾马车”12Google思想二：MapReduceMapReduce采用“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个子节点共同完成，然后整合各个子节点的中间结果，得到最终的计算结果。简而言之，MapReduce就是“分散任务，汇总结果”

Google的“三驾马车”13MapReduce运行原理

Google的“三驾马车”14Google思想三：BigTableBigTable的数据模型，与MySQL比较RowKey相当于MySQL的主键，不能为空，可以重复。相同的rowkey是一行记录

Google的“三驾马车”15Google思想三：BigTable数据模型ColumnFamily:列族Column：列RowKey：行键Timestamp:时间，数据的版本，越大，表示数据越新。

Google的“三驾马车”16G