storm集群版安装测试流程.docx

Storm集群版安装测试流程最近研究Storm，现在把storm安装流程分享一下。请注意，千万慎用虚拟机，一开始本人采用虚拟机部署环境，折腾了两天都没搞定。后来使用真机，很多问题迎刃而解。需要相关依赖环境：JDK 6、Python2.7.*、Zookeeper、Zeromq、Jzmq、Storm、Git、MavenStorm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态。Nimbus的作用类似于Hadoop中JobTracker的角色。每个工作节点（Work Node）上运行一个被称为Supervisor的后台程序。Supervisor负责监听从Nimbus分配给它执行的任务，据此启动或停止执行任务的工作进程。每一个工作进程执行一个Topology的子集；一个运行中的Topology由分布在不同工作节点上的多个工作进程组成。Nimbus和Supervisor节点之间所有的协调工作是通过Zookeeper集群来实现的。此外，Nimbus和Supervisor进程都是快速失败（fail-fast)和无状态（stateless）的；Storm集群所有的状态要么在Zookeeper集群中，要么存储在本地磁盘上。这意味着你可以用kill -9来杀死Nimbus和Supervisor进程，它们在重启后可以继续工作。这个设计使得Storm集群拥有不可思议的稳定性。第一步，安装Python2.7.2wget/ftp/python/2.7.2/Python-2.7.2.tgztar zxvf Python-2.7.2.tgzcd Python-2.7.2./configuremakemake installvi /etc/ld.so.conf追加/usr/local/lib/sudo ldconfig第二步，安装zookeeper?? wget /apache-mirror/zookeeper/zookeeper-3.3.5/zookeeper-3.3.5.tar.gztar -zxvf zookeeper-3.3.5.tar.gzvim /etc/profile (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin) export ZOOKEEPER_HOME=/path/to/zookeeperexport PATH=$PATH:$ZOOKEEPER_HOME/bincp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg)mkdir /tmp/zookeepermkdir /var/log/zookeeper安装zeromqwget /zeromq-2.1.7.tar.gztar -xzf zeromq-2.1.7.tar.gzcd zeromq-2.1.7./configuremakesudo make install安装 jzmq (both native and into local maven cache)git clone /nathanmarz/jzmq.git（如果系统没有安装Git，需要手动安装）cd jzmq./autogen.sh./configuremakesudo make install安装Stormwget /downloads/nathanmarz/storm/storm-0.8.1.zipunzip storm-0.8.1.zipvim /etc/profileexport STORM_HOME=/usr/local/storm-0.8.1export PATH=$PATH:$STORM_HOME/bin修改配置文件和启动系统Zookeeper集群版配置根据Zookeeper集群节点情况，创建如下格式的Zookeeper配置文件zoo.cfg：tickTime=2000dataDir=/var/zookeeper/clientPort=2181initLimit=5syncLimit=2server.1=zoo1:2888:3888server.2=zoo2:2888:3888server.3=zoo3:2888:3888其中，dataDir指定Zookeeper的数据文件目录；其中server.id=host:port:port，id是为每个 Zookeeper节点的编号，保存在dataDir目录下的myid