《Hadoop 3大数据部署与数据分析实战》_05-01-Zookeeper简介.pptxVIP

5.1Zookeeper简介HDFS客户端写入数据图示NameNode文件命名空间block地址应用（客户端）DataNodeLinuxDataNodeLinux......1.获取文件名，Block索引2.返回Block标识和位置│──a│??└──d└──c3.写入数据块。/a/d4.管理节点进行数据水平复制

5.1Zookeeper简介思考单一的NameNode

如果挂掉怎么办？

5.1Zookeeper简介HAHDFS（HighAvailable高可用）NameNode1DataNodeDataNodeDataNodeNameNode2ActiveLeaderFollowerFollowerZooKeeper集群JournalNodeZKFailoverControllerZKFailoverControllerJournalNodeJournalNodeStandy

5.1Zookeeper简介HBase的架构ClientZooKeeperHMasterRegionRegionServerRegionRegionRegionRegionServerRegionRegionDFSClientDFSClientHDFSHBase读写数据管理和监控RS

5.1Zookeeper简介ZooKeeper由来Zookeeper最早起源于雅虎研究院的一个研究小组。在当时，研究人员发现，在雅虎内部很多大型系统基本都需要依赖一个系统来进行分布式协调，但是这些系统往往都存在分布式单点问题。所以，雅虎的开发人员就试图开发一个通用的无单点问题的分布式协调框架，以便让开发人员将精力集中在处理业务逻辑上。

5.1Zookeeper简介HDFS单点故障NameNodeDataNodeDataNodeDataNode

5.1Zookeeper简介YARN单点故障ResourceManagerNodeManagerNodeManagerNodeManager还有HBase、Spark、Storm等都有单点故障的问题

5.1Zookeeper简介Zookeeper简介ZooKeeperZookeeper是一个高可用的分布式数据管理和协调框架，并且能够很好的保证分布式环境中数据的一致性。在越来越多的分布式系统（Hadoop、HBase、Kafka）中，Zookeeper都作为核心组件使用。

5.1Zookeeper简介Hadoop生态Ambari（安装部署工具）Zookeeper(分布式协调服务)HBase(分布式数据库)HDFS（分布式存储系统）YARN（资源调度框架）MapReduce（离线计算）...HivePigMahout...Sqoop(数据库ETL工具)Flume(日志采集)数据分析引擎机器学习算法库数据采集引擎