Storm流计算从入门到精通—技术篇.ppt

Storm流计算从入门到精通 —技术篇 硬件环境 CentOS 6.3 虚拟机2台 集群最好是奇数台容灾性好一些，由于允许不过半节点挂点： 比如5台允许挂掉2台， 4台只能允许挂掉一台 /ttovo/item/97add69b19f1ecbccd80e554 CentOS 虚拟机桥接方式 环境准备：安装JDK，配置Hosts，配置Hostname Zookeeper官方 / Zookeeper从入门到精通 课程链接： /goods-380.html Storm集群工作交互图 Nimbus（主节点，master）和Supervisor（工作节点，slave）之间的所有协调工作都是通过一个Zookeeper集群来完成。 并且，nimbus进程和supervisor都是快速失败（fail-fast)和无状态的。所有的状态要么在Zookeeper里面， 要么在本地磁盘上。 ZK安装步骤 1、下载解压： Wget /apache/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz ? ?tar -xvzf zookeeper-3.4.5.tar.gz 目录为/opt/soft/zookeeper-3.4.5 ? 在/etc/profile 里配置： JAVA_HOME ZOOKEEPER_HOME PATH 2、创建data目录和myid 创建data目录： $ZOOKEEPER/data，即/opt/soft/zookeeper-3.4.5/data 创建myid: /opt/soft/zookeeper-3.4.5/data/myid Myid存server的id，可以是1，2，3…，必须唯一 ZK安装步骤 3、配置： 创建文件 $ZOOKEEPER/conf/zoo.cfg 修改zoo.cfg，增加如下： dataDir=/opt/soft/zookeeper-3.4.5/data clientPort=2181? initLimit=10? syncLimit=5? tickTime=2000? server.1=master:2888:3888? server.2=slave1:2888:3888? 其中server.myid代表组成整个服务的机器，当服务启动时，会在数据目录下查找这个文件myid,这个文件中存有服务器的号码。下面会讲myid文件的配置。 ZK集群 Master/slave 模式 Leader Flower Flower … Leader选举 Node ：树形目录结构，每个目录是一个可存放数据的node 持久化 序列化持久化节点 临时节点 序列化临时节点 Watches 每个节点及子节点数据发生变化或被删除、或创建时触发对应事件 及时性高 启动、基本使用 zkServer.sh start 启动 zkServer.sh status 查看状态 Master/slave 架构 Leader选举，Leader负责整个集群Client消息接收，分发给每个Flower。 Client操作： 在任一台机器上 zkCli.sh -server master:2181 Node：树形结构，每个叶子是个节点 4种节点类型 Watches：事件，当节点及子节点数据变化时触发 运维中需注意事项： 1、连接数容易占满 2、watches数 Zookeeper从入门到精通 课程链接： /goods-380.html ZK核心 欢迎访问我们的官方网站