Hadoop平台搭建与应用（第2版）（微课版）-教案 项目3 ZooKeeper环境搭建与应用 .doc

第PAGE4页

Hadoop平台搭建与应用

教案

NO.3

教师姓名

授课班级

授课形式

理实一体化

授课时间

年月日第周

授课时数

6

授课章节名称

项目?3ZooKeeper环境搭建与应用

教学目的

（1）了解ZooKeeper的功能。

（2）识记ZooKeeper与Hadoop各组件的功能与联系。

（3）学会ZooKeeper集群的搭建与配置。

（4）学会ZooKeeper节点管理的相关命令。

教

材

分

析

教学重点

ZooKeeper集群的搭建与配置

教学难点

ZooKeeper节点管理的相关命令

更新、

补充、

删节内容

课外作业

熟练ZooKeeper集群的搭建与配置

教学过程

教学提示

项目?3ZooKeeper环境搭建与应用

任务3.1ZooKeeper的安装与配置

ZooKeeper是一个开源的分布式协调服务，由雅虎公司创建，是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。在分布式环境中，协调和管理服务是一个复杂的过程。ZooKeeper通过其简单的架构和API解决了这个问题。ZooKeeper允许开发人员专注于核心应用程序逻辑，而不必担心应用程序的分布式特性。

1．分布式应用

在进一步深入学习之前，先了解一下关于分布式应用的优点和面临的问题，这有利于理解ZooKeeper的优势。

分布式应用具有很多优点，诸如单个或几个系统的故障不会使整个系统出现故障等。其可以在需要时提高系统性能，通过添加更多机器，在应用程序配置中进行微小的更改，而不用停止整个系统的执行。这样可以隐藏系统的复杂性，并将其显示为单个实体/应用程序。

同时，分布式应用也面临着诸多挑战，诸如两个或多个机器尝试执行特定任务，共享资源只能在任意给定时间内由单个机器修改而引发的竞争条件设定问题；可能引发两个或多个操作无限期等待彼此完成操作的死锁问题；数据操作的部分失败导致数据的不一致问题。

分布式应用程序提供了很多好处，但它们也抛出了一些复杂和难以解决的挑战。ZooKeeper框架提供了一个完整的机制来克服所有的挑战。竞争条件设定和死锁故障问题通过安全同步方法进行规避。数据的不一致性通过ZooKeeper使用原子性解析来应对。ZooKeeper是由集群（节点组）使用的一种服务，用于在自身之间进行协调，并通过稳健的同步技术维护共享数据。ZooKeeper本身是一个分布式应用程序，为写入分布式应用程序提供服务。ZooKeeper提供的常见服务如下。

（1）命名服务：该服务按名称标识集群中的节点。它类似于DNS，但仅应用于节点。

（2）配置管理：该服务可以加入节点最近的和最新的系统配置信息。

（3）集群管理：该服务实时地在集群和节点状态中加入/离开节点。

（4）选举算法：该服务选举一个节点作为协调目的的Leader。

（5）锁定和同步服务：该服务在修改数据的同时锁定数据。此机制可帮助用户在连接其他分布式应用程序（如ApacheHBase）时进行自动故障恢复。

（6）高度可靠的数据注册表：其能保证在一个或几个节点关闭时仍然获得数据。

2．ZooKeeper的基本概念

（1）ZooKeeper的架构。

ZooKeeper中的组件如表3-1所示。

表3-1ZooKeeper中的组件

部分

描述

Client

（客户端）

客户端是分布式应用集群中的一个节点，从服务器访问信息。对于特定的时间间隔，每个客户端都向服务器发送消息以使服务器知道客户端是活跃的。

类似的，当客户端连接时，服务器发送确认码。如果连接的服务器没有响应，则客户端会自动将消息重定向到另一个服务器

Server

（服务器）

服务器是ZooKeeper总体中的一个节点，为客户端提供所有的服务。向客户端发送确认码以告知服务器是活跃的

Ensemble

ZooKeeper的服务器组，形成Ensemble所需的最小节点数为3

Leader

服务器节点，如果任意连接的节点失败，则执行自动恢复功能。Leader在服务启动时被选举

Follower

跟随Leader指令的服务器节点

（2）层次命名空间。

图3-3描述了用于内存表示的ZooKeeper文件系统的树结构，即ZooKeeper数据结构