Hadoop应用开发-初识Hadoop.pdf

第1章 初识Hadoop  Hadoop概述  Hadoop简介  Hadoop地背景  Hadoop地发展历程 本讲知识点  Hadoop地特点  Hadoop地核心组件  分布式文件系统-HDFS  分布式计算框架-MapReduce  集群资源管理器-Yarn  Hadoop生态系统及有关技术简介  Hadoop地应用场景 2  Hadoop简介  Apache Hadoop是一款由Apache基金会开发地用于可靠地,可伸缩地 分布式计算地开源软件。 Hadoop概述  Apache Hadoop软件库是一个框架,它允许使用简单地编程模型在跨计 算机集群中对大规模数据集进行分布式处理。  设计目地  从单一地服务器扩展到由成千上万台机器组成地集群,集群中地每台机器 都提供本地计算与存储,并将存储地数据备份在多个节点,由此提升集群地 可用性。  在应用层检测与处理故障,而不是依赖硬件来提供高可用性。当一台机器 宕机时,其它节点依然可以提供备份数据与计算服务,从而也可以实现在计 算机集群之上提供高可用性服务 3 uHadoop简介 u组成部分 uHadoop1.0 由HDFS(Hadoop Distributed File System) Hadoop概述 与MapReduce （分布式计算框架）构成 uHadoop2.0及之后地版本又引入了YARN （集群资源管理 系统） 4  Hadoop背景  Hadoop最早起源于开源地网络搜索引擎Apache Nutch项 ,此项目也是 Lucene项目地一部分,它地设计目的是构建一个大型地全网搜索引擎,创始 Hadoop概述 人是Doug Cutting。  2003年开始谷歌陆续发表地三篇论文为该问题提供了可行地解决方案。  分布式文件系统（GFS）,可用于处理海量网页地存储  分布式计算框架MapReduce,可用于海量网页地索引计算问题  BigTable数据库  Nutch地开发人员完成了相应地开源实现HDFS与MAPREDUCE,并从Nutch中剥 离成为独立项 HADOOP,到2008年1月,HADOOP成为Apache顶级项 ,迎来了 它地快速发展期 5 uHadoop背景 u名字起源 uHadoop这个名字不是一个缩写,它是一个虚构地名字。 该项目地创建者,Doug Cutting解释Hadoop地得名 :这 Hadoop概述 个名字是我孩子给一个棕黄色地大象玩具命名地。我地 命名标准就是简短,容易发音与拼写,没有太多地意义, 并且不会被用于别处。小孩子恰恰是这方面地高手。 uHadoop logo: 6  发展历程  2017年12月份Apache Hadoop 3.0.0GA 版本正式发布 从此大家可 以正式在线上使用Hadoop3.0.0。  2013年2月,Wandisco推出了世界第一款可用于实际业务环境地 Apache Hadoop 2 -WANdisco Distro(WDD)。 Hadoop概述  2011年12月27日--1.0.0版本发布。标志着Hadoop已经初具生产规 模。  2009年4月-- 赢得每分钟排序,59秒内排序500 GB （在1400个节点 上）与173分钟内排序100 TB数据（在3400个节点上）。  2006年2月-- Apache Hadoop项目正式启动以支持MapReduce与HDFS 地独立发展。  2006年1月-- Doug Cutting加入雅虎。  2005年12月-- Nutch移植到新地框架,Hadoop在20个节点上稳定运 行。 7  Hadoop地特点  高可靠性  Hadoop能够自动地维护数据地多份副本,集群部署在多台机器上,避 免出现当一个节点机器宕机时整个集群损坏地现象。 Hadoop概述