ZOOKEEPER解惑.docVIP

ZOOKEEPER解惑 今年年初的时候，写了一篇ZooKeeper的入门文章《初识ZooKeeper》，一直到这一周，才有时间将ZooKeeper整个源码通读了一遍。不能说完全理解了ZooKeeper的工作原理与细节，但是之前心中一直关于ZooKeeper的疑问都得到了解释。 现在网上关于ZooKeeper的文章很多，有介绍Leader选举算法的，有介绍ZooKeeper Server内部原理的，还有介绍ZooKeeper Client的。本文不打算再写类似的内容，而专注与解答读者对ZooKeeper的相关疑问。 ZOOKEEPER在客户端究竟做了什么事情 使用过ZooKeeper的读者都知道，初始化客户端的代码如下： 1 2 3 System.out.println(Starting ZK:); zk = new?ZooKeeper(address, 3000, this); System.out.println(Finished starting ZK: ?+ zk); 完成客户段的初始化之后，就可以对ZooKeeper进行相应的操作了： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 if?(zk != null) { ????try?{ ????????Stat s = zk.exists(root, false); ????????if?(s == null) { ????????????zk.create(root, new?byte[0], Ids.OPEN_ACL_UNSAFE, ????????????????????CreateMode.PERSISTENT); ????????} ????} catch?(KeeperException e) { ????????System.out ????????????????.println(Keeper exception when instantiating queue: ????????????????????????+ e.toString()); ????} catch?(InterruptedException e) { ????????System.out.println(Interrupted exception); ????} } 虽然上面的代码看起来简单明了，但是ZooKeeper的客户端在后台默默做了许多事情： ? 1 与ZooKeeper服务端进行通信，包括：连接，发送消息，接受消息。 ? 2 发送心跳信息，保持与ZooKeeper服务端的有效连接与Session的有效性。 ? 3 错误处理，如果客户端当前连接的ZooKeeper服务端失效，自动切换到另一台有效的ZooKeeper服务端。 ? 4 管理Watcher，处理异常调用和Watcher。 WATCHER的事件通知机制是如何实现的 看过Google的分布式锁机制Chubby论文会发现，ZooKeeper中多了一个事件订阅机制：Watcher。那么Watcher内部究竟是如何实现的呢？ 其实，在ZooKeeper客户端中，有一个成员变量（ZKWatchManager）专门负责管理所有的Watcher，当用户使用如下代码时： 1 ListString list = zk.getChildren(path, watcher); ZooKeeper会将这个Watcher存储在ZKWatchManager中，同时通知ZooKeeper服务器记录该Client对应的Session中的Path下注册的事件类型。当ZooKeeper服务器发生了指定的事件后，ZooKeeper服务器将通知ZooKeeper客户端，ZooKeeper客户端再从ZKWatchManager中找到对应的回调函数，并予以执行。 整个过程中，客户端存储事件的信息和Watcher的执行逻辑，服务端只存储事件的信息。 如何用好ZOOKEEPER客户端 每实例化一个ZooKeeper客户端，就开启了一个Session。ZooKeeper客户端是线程安全的，也可以认为它实现了连接池。 因此，每一个应用只需要实例化一个ZooKeeper客户端即可，同一个ZooKeeper客户端实例可以在不同的线程中使用。 除非你想同一个应用中开启多个Session，使用不同的Watcher，在这种情况下，才需要实例化多个ZooKeeper客户端。 ZOOKEEPER是否对ZNODE有大小限制 如果你仔细看过ZooKeeper的文档，会发现文档中对ZNode的大小做了限制，最大不能超过1M。 这个1M的大小限制在ZooKeeper的客户端和服务端都有限制： 客户端： 1 2 3 4 5 6 packetLen = Int