流计算讲义课件.ppt

8.1 编写Storm程序 如SplitSentence()方法虽然是通过Java语言定义的，但具体的操作可通过Python脚本来完成 Topology里面的每个组件必须定义它要发射的Tuple的每个字段 SplitSentence类 8.1 编写Storm程序 Python脚本splitsentence.py定义了一个简单的单词分割方法，即通过空格来分割单词。分割后的单词通过emit()方法以Tuple的形式发送给订阅了该Stream的Bolt进行接收和处理 splitsentence.py 8.1 编写Storm程序 单词统计的具体逻辑：首先判断单词是否统计过，若未统计过，需先将count值置为0。若单词已统计过，则每出现一次该单词，count值就加1 WordCount类 8.1 编写Storm程序 上述虽然是一个简单的单词统计，但对其进行扩展，便可应用到许多场景中，如微博中的实时热门话题。Twitter也正是使用了Storm框架实现了实时热门话题 Twitter实时热门话题处理流程示意图 8.2 安装Storm的基本过程 安装Storm的基本过程如下： 第一步：安装Java环境 第二步：安装 Zookeeper 第三步：安装Storm（单机） 第四步：关闭Storm 本实例中Storm具体运行环境如下： CentOS 6.4 Storm 0.9.6 Java JDK 1.7 ZooKeeper 3.4.6 Python 2.6 备注：CentOS中已默认安装了Python 2.6，我们还需要安装 JDK 环境以及分布式应用程序协调服务 Zookeeper Storm上机实践详细过程，请参考厦门大学数据库实验室建设的 “中国高校大数据课程公共服务平台”中的 “大数据课程学生服务站”中的“学习指南”栏目： 学生服务站地址：/post/4331/ 学习指南栏目中包含了《第八章流计算学习指南》 /blog/767/ 8.2 安装Storm的基本过程 第一步：安装Java环境 Storm 运行需要 Java 环境，可选择 Oracle 的 JDK，或是 OpenJDK，现在一般 Linux 系统默认安装的基本是 OpenJDK，如 CentOS 6.4 就默认安装了 OpenJDK 1.7。但需要注意的是，CentOS 6.4 中默认安装的只是 Java JRE，而不是 JDK，为了开发方便，我们还是需要通过 yum 进行安装 JDK $ sudo yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel 接着需要配置一下 JAVA_HOME 环境变量，为方便，可以在 ~/.bashrc 中进行设置 8.2 安装Storm的基本过程 第二步：安装Zookeeper 到官网下载Zookeeper，比如下载?“zookeeper-3.4.6.tar.gz”? 下载后执行如下命令进行安装 zookeeper（将命令中 3.4.6 改为你下载的版本）： $ sudo tar -zxf ~/下载/zookeeper-3.4.6.tar.gz -C /usr/local $ cd /usr/local $ sudo mv zookeeper-* zookeeper #修改目录名称方便使用 $ sudo chown -R hadoop:hadoop ./zookeeper # 此处的hadoop为你的用户名 chown命令让hadoop用户拥有zookeeper目录下的所有文件的权限 8.2 安装Storm的基本过程 接着执行如下命令进行zookeeper配置： $ cd /usr/local/zookeeper $ mkdir tmp $ cp ./conf/zoo_sample.cfg ./conf/zoo.cfg $ vim ./conf/zoo.cfg 进入zoo.cfg文件编辑状态后，将当中的 dataDir=/tmp/zookeeper 更改为 dataDir=/usr/local/zookeeper/tmp 。接着执行： $ ./bin/zkServer.sh start 第二步：安装Zookeeper（续） 8.2 安装Storm的基本过程 第三步：安装Storm（单机） 到官网下载Storm，比如Storm0.9.6 下载后执行如下命令进行安装Storm： $ sudo tar -zxf ~/下载/apache-storm-0.9.6.tar.gz -C /usr/local $ cd /usr/local $ sudo mv apache-storm-0.9.6 storm $ sudo chown -R hadoop:hadoop ./storm