zookeer整理.docxVIP

HYPERLINK /blog/1465336 zookeeper使用简介 HYPERLINK /blogs/tag/zoomkeeper zoomkeeper HYPERLINK /blogs/tag/%E5%88%86%E5%B8%83%E5%BC%8F%E5%8D%8F%E4%BD%9C 分布式协作 场景一 有这样一个场景：系统中有大约100w的用户，每个用户平均有3个邮箱账号，每隔5分钟，每个邮箱账需要收取100封邮件，最多3亿份邮件需要下载到服务器中(不含附件和正文)。用20台机器划分计算的压力，从多个不同的网路出口进行访问外网，计算的压力得到缓解，那么每台机器的计算压力也不会很大了。 通过我们的讨论和以往的经验判断在这场景中可以实现并行计算，但我们还期望能对并行计算的节点进行动态的添加/删除，做到在线更新并行计算的数目并且不会影响计算单元中的其他计算节点，但是有4个问题需要解决，否则会出现一些严重的问题： 20台机器同时工作时，有一台机器down掉了，其他机器怎么进行接管计算任务，否则有些用户的业务不会被处理，造成用户服务终断。 随着用户数量增加，添加机器是可以解决计算的瓶颈，但需要重启所有计算节点，如果需要，那么将会造成整个系统的不可用。 用户数量增加或者减少，计算节点中的机器会出现有的机器资源使用率繁忙，有的却空闲，因为计算节点不知道彼此的运行负载状态。 怎么去通知每个节点彼此的负载状态，怎么保证通知每个计算节点方式的可靠性和实时性。 先不说那么多专业名词，白话来说我们需要的是：1记录状态，2事件通知 ，3可靠稳定的中央调度器，4易上手、管理简单。采用Zookeeper完全可以解决我们的问题，分布式计算中的协调员，观察者，分布式锁? 都可以作为zookeeper的关键词，在系统中利用Zookeeper来处理事件通知,队列,优先队列,锁,共享锁等功能，利用这些特色在分布式计算中发挥重要的作用。 场景二 假设我们我们有个20个搜索引擎的服务器(每个负责总索引中的一部分的搜索任务)和一个总服务器(负责向这20个搜索引擎的服务器发出搜索请求并合并结果集),一个备用的总服务器(负责当总服务器宕机时替换总服务器),一个web的 cgi(向总服务器发出搜索请求).搜索引擎的服务器中的15个服务器现在提供搜索服务,5个服务器正在生成索引.这20个搜索引擎的服务器经常要让正在提供搜索服务的服务器停止提供服务开始生成索引,或生成索引的服务器已经把索引生成完成可以搜索提供服务了.使用Zookeeper可以保证总服务器自动感知有多少提供搜索引擎的服务器并向这些服务器发出搜索请求,备用的总服务器宕机时自动启用备用的总服务器,web的cgi能够自动地获知总服务器的网络地址变化.这些又如何做到呢? 1. 提供搜索引擎的服务器都在Zookeeper中创建znode,zk.create(/search/nodes/node1, hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateFlags.EPHEMERAL); 2.总服务器可以从Zookeeper中获取一个znode的子节点的列表,zk.getChildren(/search/nodes, true); 3.总服务器遍历这些子节点,并获取子节点的数据生成提供搜索引擎的服务器列表. 4.当总服务器接收到子节点改变的事件信息,重新返回第二步. 5.总服务器在Zookeeper中创建节点,zk.create(/search/master, hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateFlags.EPHEMERAL); 6.备用的总服务器监控Zookeeper中的/search/master节点.当这个znode的节点数据改变时,把自己启动变成总服务器,并把自己的网络地址数据放进这个节点. 7.web的cgi从Zookeeper中/search/master节点获取总服务器的网络地址数据并向其发送搜索请求. 8.web的cgi监控Zookeeper中的/search/master节点,当这个znode的节点数据改变时,从这个节点获取总服务器的网络地址数据,并改变当前的总服务器的网络地址. 在我的测试中:一个Zookeeper的集群中,3个Zookeeper节点.一个leader,两个follower的情况下,停掉leader,然后两个follower选举出一个leader.获取的数据不变.我想Zookeeper能够帮助Hadoop做到: Hadoop,使用Zookeeper的事件处理确保整个集群只有一个NameNode,存储配置信息等. HBase,使用Zookeeper的事件处理确保整个集群只有