商业大数据分析.ppt

8.8.2 安装Storm的基本过程 第二步：安装Zookeeper 到官网下载Zookeeper，比如下载?“zookeeper-3.4.6.tar.gz”? 下载后执行如下命令进行安装 zookeeper（将命令中 3.4.6 改为你下载的版本）： $ sudo tar -zxf ~/下载/zookeeper-3.4.6.tar.gz -C /usr/local $ cd /usr/local $ sudo mv zookeeper-* zookeeper #修改目录名称方便使用 $ sudo chown -R hadoop:hadoop ./zookeeper # 此处的hadoop为你的用户名 chown命令让hadoop用户拥有zookeeper目录下的所有文件的权限 8.8.2 安装Storm的基本过程 接着执行如下命令进行zookeeper配置： $ cd /usr/local/zookeeper $ mkdir tmp $ cp ./conf/zoo_sample.cfg ./conf/zoo.cfg $ vim ./conf/zoo.cfg 进入zoo.cfg文件编辑状态后，将当中的 dataDir=/tmp/zookeeper 更改为 dataDir=/usr/local/zookeeper/tmp 。接着执行： $ ./bin/zkServer.sh start 第二步：安装Zookeeper（续） 8.8.2 安装Storm的基本过程 第三步：安装Storm（单机） 到官网下载Storm，比如Storm0.9.6 下载后执行如下命令进行安装Storm： $ sudo tar -zxf ~/下载/apache-storm-0.9.6.tar.gz -C /usr/local $ cd /usr/local $ sudo mv apache-storm-0.9.6 storm $ sudo chown -R hadoop:hadoop ./storm # 此处的hadoop为你的用户名 接着执行如下命令进行Storm配置: $ cd /usr/local/storm $ vim ./conf/storm.yaml 备注：storm的运行有两种模式: 本地模式和分布式模式.在本地模式中， storm用一个进程里面的线程来模拟所有的spout和bolt. 本地模式对开发和测试来说比较有用。在分布式模式下， storm由一堆机器组成。当提交topology给master的时候， master负责分发代码并且负责给topolgoy分配工作进程。如果一个工作进程挂掉了， master节点会把它重新分配到其它节点 8.8.2 安装Storm的基本过程 修改其中的 storm.zookeeper.servers 和 nimbus.host 两个配置项，即取消掉注释且都修改值为 （我们只需要在单机上运行），如下图所示。 第三步：安装Storm（单机） （续） 然后就可以启动 Storm 了。执行如下命令启动 nimbus 后台进程： $ ./bin/storm nimbus 8.8.2 安装Storm的基本过程 启动 nimbus 后，终端被该进程占用了，不能再继续执行其他命令了。因此我们需要另外开启一个终端，然后执行如下命令启动 supervisor 后台进程： 第三步：安装Storm（单机） （续） $ # 需要另外开启一个终端 $ /usr/local/storm/bin/storm supervisor 同样的，启动 supervisor 后，我们还需要开启另外的终端才能执行其他命令。另外，我们可以使用?jps?命令 检查是否成功启动，若成功启动会显示 nimbus、supervisor、QuorumPeeMain （QuorumPeeMain 是 zookeeper 的后台进程，若显示 config_value 表明 nimbus 或 supervisor 还在启动中），如下图所示。 8.8.2 安装Storm的基本过程 第四步：关闭Storm 之前启动的 nimbus 和 supervisor 占用了两个终端窗口，切换到这两个终端窗口，按键盘的 Ctrl+C 可以终止进程，终止后，也就相当于关闭了 Storm。 运行Storm计算任务，就是提交Topology 运行一个Topology是很简单的。首先，把所有的代码以及所依赖的jar打进一个jar包。然后运行类似下面的这个命令 strom jar all-your-code.jar backtype.storm.MyTopology arg1 arg2 storm jar负责连接到nimbus并且上传jar文件 8.8.3 运行Storm实例