Hadoop安装手册.docVIP

Hadoop安装使用手册 安装说明 涉及产品 UBUNTU Linux操作系统，本次使用的版本为Ubuntu server 14.04.3 LTS； Hadoop 分布式系统基础架构，主要包括HDFS（Hadoop Distributed File System，Hadoop分布式文件系统Yet Another Resource Negotiator，另一种资源协调器 Zookeeper 为分布式系统提供了高效可靠且易于使用的协同服务，它可以为分布式应用提供相当多的服务，诸如统一命名服务，配置管理，状态同步和组服务等，在本环境中主要使用Zookeeper的领导选举特性，实现Hadoop的主从部署。本次安装的版本为3.4.6。 部署架构 Zookeeper部署架构 Zookeeper采用去中心化的集群部署方式在一个Zookeeper集群中包括一个LeaderObserver（观察者，可选）节点。 在Zookeeper启动后Zookeeper集群成员会自动选举出一个节点作为Leader其他成员作为Follower节点在Leader节点出现宕机时剩余节点会再次选举出Leader节点 HDFS部署架构 HDFS的HA集群部署可采用两种方式一是采用NFS实现二是采用Quorum Journal Manager仲裁日志管理器）方式实现。对于不依赖第三方存储产品（例如EMC Isilon）时，