第2章 Hadoop简介-Hadoop技术原理与案例.pptx

Hadoop技术原理与案例

HadoopTechnicalPrinciplesPractices主编：韩玉民郭丽副主编：王尧张文宁张炎峰缑西梅

2.1Hadoop概述2.2Hadoop生态圈2.3Hadoop核心架构2.4Hadoop运行模式2.5Hadoop集群搭建2.6常见问题及解决方案2.7本章小结Hadoop简介分布式存储与计算基础第一篇第2章

Hadoop简介第2章

2.1Hadoop概述2.1.1起源2002年，Apache启动了Nutch项目，该项目是ApacheLucene的子项目之一，其设计目标是构建一个大型的全网搜索引擎，实现网页抓取、索引、查询等功能。2003-2006年，Google先后发布了《TheGoogleFileSystem》、《MapReduce:SimplifiedDataProcessingonLargeClusters》和《Bigtable:ADistributedStorageSystemforStructuredData》三篇论文，公开了部分GFS和MapReduce思想的细节，开启了工业界的大数据时代，奠定了HDFS和MapReduce的思想基础，被称为谷歌大数据的“三驾马车”，也被称为Hadoop的思想之源。2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。

2.1Hadoop概述2006年2月，MapReduce和NutchDistributedFileSystem（NDFS）分别被剥离出来，成为一套完整独立的软件，Hadoop项目正式启动以支持MapReduce和HadoopDistributedFileSystem（HDFS）的独立发展。2008年1月，Hadoop成为Apache顶级项目。2008年4月，Hadoop成为最快排序1TB数据的系统。2008年6月，Hive成为了Hadoop的子项目。2009年7月，MapReduce和HDFS成为Hadoop项目的独立子项目。2010年5月，HBase成为Apache顶级项目。2010年9月，Hive和Pig成为Apache顶级项目。2.1.1起源

2.1Hadoop概述2011年1月，ZooKeeper成为Apache顶级项目。2011年12月，Hadoop1.0.0版发布，标志着Hadoop已经初具生产规模。2013年10月，Hadoop2.0.0版发布，标志着Hadoop正式进入MapReduceV2.0时代。2017年12月，继Hadoop3.0.0的四个Alpha版本和一个Beta版本后，第一个可用的Hadoop3.0.0版本发布。DougCutting被人们称为Hadoop之父，他曾这样描述过这个名字：“这是我的孩子给他的黄色毛绒小象玩具起的名字。简短易于读写，没有具体意义且没有被别人使用过，这就是我对于项目命名的原则。”2.1.1起源

2.1Hadoop概述由于Hadoop在大数据处理方面的突出表现，许多公司都推出了自己的Hadoop商业版本，以提供更为专业的技术支持。目前Hadoop的发行版本除了Apache的开源版本外，还有Intel发行版、Cloudera发行版及Hortonworks发行版等多种版本。ApacheHadoop版本是最基础的Hadoop版本，适合于初学者。ClouderaHadoop是Cloudera公司提供的Hadoop解决方案，常用于大型互联网企业。HortonworksHdoop是Hortonworks公司的代表产品，是一个企业级的Hadoop发行版，配备了较为完善的支撑文档。2.1.2Hadoop发行版本

2.1Hadoop概述1.ApacheHadoopApacheHadoop也称为Apache社区版本，具备开源免费、社区活跃及资料翔实等优点。ApacheHadoop的官方地址为：，下载地址：/dist/hadoop/common/。2.HortonworksHadoopHortonworksHadoop是Hortonworks公司发行和维护的Hadoop版本。该公司主打产品是HortonworksDataPlatform，包含了ApacheHadoop的所有关键组件，提供了直观的用户界面安装配置工具，在管理工具和集群部署方面有独特优势。2.1.2Hadoop发行版本

2.1Hadoop概述HortonworksHadoop的官方地址为，下载地址为https://cn./downloads.html3.ClouderaHadoopClouderaHadoop基于Ap