基于Spark构建数据分析系统-习题 zookeeper Zookeeper解析-课程内容.docVIP

分布式协调框架Zookeeper 一、Zookeeper简介 1、Zookeeper是什么 Zookeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，它提供的功能包括：配置维护、名字服务、分布式同步、组服务等。Zookeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。 Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分布式协调服务。 它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务、配置维护和命名服务等。 2、为什么要使用Zookeeper 大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）。 目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制。 协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器。 ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用。 3、Zookeeper能帮我们做什么 在Hadoop中，使用Zookeeper的事件处理确保整个集群只有一个NameNode,存储配置信息等。 在HBase中，使用Zookeeper的事件处理确保整个集群只有一个HMaster,察觉HRegionServer联机和宕机，存储访问控制列表等。 ZooKeeper的应用 ZooKeeper成功地应用于大量的工业程序中。它在Yahoo！被用作雅虎消息代理(Yahoo! Message Broker)的协调和故障恢复服务。雅虎消息代理是一个高度可扩展的发布-订阅系统，它管理着上千的总联机程序和信息控制系统，另外它还用于Yahoo！crawler获取服务并进行故障维护。除此之外，一些Yahoo！广告系统也同样使用了ZooKeeper来实现可靠的服务。 二、Zookeeper集群安装（在Hadoop集群上搭建） 1、安装前的技能准备 学习过宅客学院的《Hadoop大数据实践》课程。 掌握基本的Linux常用命令，了解Hadoop结构与原理、HBase原理与应用，能独立搭建Hadoop集群环境。 2、Zookeeper集群安装步骤 （以下Zookeeper简称zk）： 2.1 zk服务器集群规模不小于三个节点，在本集群中创建Hadoop0、Hadoop1 、Hadoop2，其中Hadoop0为主服务器，Hadoop1、Hadoop2为从服务器，并且要求各服务器之间系统时间要保持一致。 2.2 下载ZooKeeper：/apache-mirror/zookeeper/zookeeper-3.4.3/zookeeper-3.4.3.tar.gz 将下载的tar包拷贝到hadoop0的/usr/local目录下，解压缩zk的安装tar包 tar -xzvf ookeeper-3.4.3.tar.gz 并在/etc/profile设置环境变量: export JAVA_HOME=usr/local/jdk export HADOOP_HOME=usr/local/hadoop export ZOOKEEPER_HOME=usr/local/zk export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin :$ZOOKEEPER_HOME/bin:$PATH 2.3 在conf目录下，修改文件名 mv zoo_sample.cfg zoo.cfg 2.4 编辑该文件，执行vi zoo.cfg 修改dataDir=/usr/local/zk/data 只运行在一台服务器上，适合测试环境；Zookeeper 的启动脚本在 bin 目录下；在启动脚本之前，还有几个基本的配置项需要配置一下， tickTime ：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳； dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里； clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求。 当这些配置项配置好后，就可以启动 Zookeeper 了，启动后使用命令echo ruok | nc localhost 2181检查 Zookeeper 是否已经在服务 新增Server.0=hadoop0:2888:3888 Server.1=hadoop1:2888:3888 Server.2=hadoop2:2888:3888 注：Ser