taokeeper调研报告.ppt

Taokeeper调研报告 徐瑞晨 Taokeeper taokeeper是一个围绕zookeeper做的监控与报表系统，能够统计zookeeper集群连接数，Watcher数目，节点数等系列信息，并按一定规则进行一些聚合操作;?能够通过设置一些阈值来达到监控报警的效果;?能够按天按周进行zookeeper运行状况的报表展现;?其中zookeeper实时运行状态的统计和机器存活性的检查功能能够帮助zookeeper的运维人员进行排错，及时发现系统隐患，确保故障的及时恢复。由淘宝网中间件团队于2012年02月12日开源。 为了能更好的了解taokeeper，我们先来认识一下zookeeper Zookeeper ZooKeeper是Hadoop的正式子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等。ZooKeeper就像一个黑盒一样，它提供简单的接口，方法供使用者调用，来完成复杂的集群管理。 为了了解zookeeper，先来认识一下集群。 集群概念 由两台或多态节点机（服务器）构成的一种计算节点集合，为用户提供网络服务或应用服务。服务器之间通过硬件和软件互联，可彼此通信。 看一下负载均匀集群： 为什么要用Zookeeper Zookeeper主要功能： 1、配置维护 2、名字服务 3、分布式同步 4、组服务 名字服务 什么是名字服务。 典型的名字服务就是 主机名—ip地址 如--192.XXX.XXX.XXX Zookeeper名字服务 Get /zookeeper—:2181/zookeeper Zookeeper数据结构 Zookeeper的数据结构就像windows下的注册表，也像Linux下的树形文件系统。 一个小例子感受一下 Zookeeper操作展示 创建节点（znode）create /XXX/XXX 在节点内存储数据 set /xxx data（create /XXX data） Zookeeper操作图示 查找节点 ls / 查看数据基本信息 get /XXX 图示总结 从上几图可发现，zookeeper操作跟File操作类似。Zookeeper就是一个精简的文件系统，每次操作都会写入log文件中。Log命名方式log.zxid（zxid是就是更新的版本号，每次数据更新都会触发注册在znode下的watcher，使zxid自动加一，用于选举leader） Zookeeper数据结构 由上可知zookeeper数据结构： Znode基本数据 Czxid 最后创建时间的zxid mzxid 最终修改时的zxid ctime Znode创建时间 mtime Znode修改时间 version version 版本号 cversion 子节点版本号 Aversion ACL版本号 ephemeralOwner 会话标签 dataLength 数据长度 numChildren 子节点数 Zookeeper配置维护 一个zookeeper对象就代表一 个ZKClient，zookeeper对象 一旦创建就会启动一个 clientcnxn线程去连接zk集群。 了解了zookeeper数据结构，可以看一下维护功能的实现 配置维护 它们的实现方式都是在?Zookeeper?上创建一个?EPHEMERAL?类型的目录节点，然后每个?Server?在它们创建目录节点的父目录节点上调用?getChildren(String?path,?boolean?watch)?方法并设置?watch?为?true，由于是?EPHEMERAL?目录节点，当创建它的?Server?死去，这个目录节点也随之被删除，所以?Children?将会变化，这时?getChildren上的?Watch?将会被调用，所以其它?Server?就知道已经有某台?Server?死去了。新增?Server?也是同样的原理。 分布式同步 看了数据结构和watch功能，下面了解一下zookeeper集群如何实现分布式同步。 先看一下zookeeper集群部署图 Zookeeper角色 选举leader 服务重启或者leader宕机后，通过paxos算