Zookeeper地应用.pptVIP

Zookeeper的应用 Hbase Kafka Twitter Storm Spark—mesos+zookeeper Hbase架构 Twitter storm Yaooo S4() Kafka Architecture Zookeer部署 Zookeeper进程和业务进程部署在同一台机器？ Mesos+zookeeper Linux Container技术： 通过提供一种创建和进入容器的方式，操作系统让应用程序就像在独立的机器上运行一样，但又能共享很多底层的资源。例如，可以有效地共享公共文件（比如 glibc）的页缓存，因为所有容器都使用相同的内核，而且所有容器还常常共享相同的 libc 库（取决于容器配置）。这种共享常常可以扩展到目录中其他不需要写入内容的文件 * Nimbus??和Supervisors??之间所有的协调工作是通过?一个Zookeeper?集群。? Nimbus的守护进程和 Supervisors??守护进程是无法连接和无状态的; 所有的状态维持在Zookeeper中?或保存在本地磁盘上 Producer Consumer Producer Broker Broker Broker Broker Consumer ZooKeeper * * * HBase系统架构 　　Client ?? HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPC 　　Zookeeper 　　Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状态。此外，Zookeeper也避免了HMaster的单点问题，见下文描述 　　HMaster 　　HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行，HMaster在功能上主要负责Table和Region的管理工作： 　　1. 管理用户对Table的增、删、改、查操作 　　2. 管理HRegionServer的负载均衡，调整Region分布 　　3. 在Region Split后，负责新Region的分配 　　4. 在HRegionServer停机后，负责失效HRegionServer 上的Regions迁移