Hadoop大数据开发基础与案例实战（微课版） 课件 2 走进Hadoop世界 .pptx

Hadoop大数据项目开发——Hadoop简介

目录content0201Hadoop简介Hadoop特点

Hadoop简介Hadoop是一个Apache软件基金会旗下的开源软件

Hadoop简介Hadoop具有旺盛的生命力免费极大的降低使用的复杂旺盛的生命力它对普通用户屏蔽了技术底层实现的细节，只要按照它提供的接口做一些简单的操作，后台所有的工作全部有它整个系统技术自己去实现。

Hadoop简介Hadoop是用Java开发，但支持多种编程语言开发Hadoop是使用Java语言开发，但不是只能用Java语言去写Hadoop的应用，在Hadoop平台上开发它的应用可以使用任意语言。

Hadoop简介--两大核心大数据项目的集合体，一整套解决方案的统称分布式并行编程框架MapReduce海量数据的分布式计算分布式文件系统HDFS：海量数据的分布式存储

Hadoop简介--解决两大关键问题HDFS：海量数据的分布式存储解决怎么用成百上千乃至上万台机器存储PB乃至EB规模的数据。Hadoop解决了大数据时代最关键的两个难题：MapReduce:海量数据的分布式处理解决上千台服务器同时完成一个任务的分布式并行处理。

Hadoop在各个领域得到了非常广泛的应用，满足了许多企业实际的需求，也成为各大知名公司的宠儿。。Hadoop简介--应用国内点击添加标题内容添加关键字

Hadoop起源Hadoop平台的两大核心组件均来自于谷歌2008年1月，Hadoop正式成为Apache顶级项目；2008年4月，Hadoop用910个节点构成集群，对1TB的数据进行排序，仅用了209秒，一战成名，Hadoop由此名声大震。Hadoop最早是为了构建一个大型全网搜索引擎。谷歌2004年发布了并行编程框架MapReduce。2005年，Hadoop平台把它作为自己的MapReduce的开源实现。谷歌2003年发布了分布式文件系统GFS，2004年，Hadoop把GFS应用到自己的平台，即HDFS是GFS的开源实现。

Hadoop简介Hadoop的名字不是单词的首字母缩写Hadoop不是版本号最高就代表最新这是因为对于任何一个Apache开源项目，当需要开发某个特性时，会专门从主代码线中延伸出一个分支。由于多个分支可能会同时进行研发，因此版本高的分支有时候会先于版本低的分支发布。Hadoop项目负责人曾经这样描述过这个名字：“这是我的孩子给他的黄色毛绒小象玩具起得名字，简短易于读写，没有具体意义且没有被别人使用过，这就是我对于项目命名的原则”。

Hadoop特点低成本高效性高容错性高可靠性支持多种编程语言高扩展性

Hadoop特点高可靠性Hadoop采用冗余副本机制；当部分机器发生故障时，其他机器也可以保证集群正常对外提供服务。集群中的一台机器有问题，其余机器继续提供服务

Hadoop特点高效性Hadoop以并行的方式工作，非常高效的处理海量数据。成百上千台机器一起计算

Hadoop特点高扩展性Hadoop实现了线性扩展，可以从单个服务器扩展到数千台计算机，并且每台计算机都提供了数据存储功能和计算功能。

Hadoop特点高容错性Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配，当其中一个副本出现故障时，不影响集群的整体运行。

Hadoop特点低成本Hadoop使用廉价计算机搭建集群，从而降低了硬件成本，普通用户也可以使用自己的个人计算机搭建和运行Hadoop。个人计算机搭建大数据集群

Hadoop特点123支持多种编程语言支持多种编程语言完成Hadoop平台的应用程序开发。具有很好的跨平台特性；Hadoop是用Java语言开发的。

本节小结Hadoop自诞生以来，改变了对数据存储、处理和分析的过程，加速了大数据技术的快速发展，得到了非常广泛的应用。

Hadoop大数据项目开发——Hadoop生态系统

目录content02MapRedcue01HDFS03YARN04ZooKeeper05Hive07Sqoop06HBase08Kafka09Flume

Hadoop生态系统简介Hadoop生态系统图

HDFS：分布式文件系统成百上千台服务器完成海量数据存储和管理。可以运行在廉价的个人计算机集群上。HDFS负责整个分布式文件的存储

YARN：资源调度YARN负责资源的管理和调度例如内存，CPU，带宽等需要YARN统一调度。海量数据在HDFS存储后，需要进行相关的处理，但是处理之前，需要一个计算的框架去调度资源，底层那么多资源，需要YARN框架进行调度。

MapReduce：分布式文件计算不是实时计算，是负责离线，批处理计算的。用户只需实现Map和Reduce两个函数就可以完成分布式计算任务。MapReduce解决海