大数据技术与应用基础第9、10章流实时处理系统Storm、企业级、大数据流处理Apex.pptxVIP

能力要求CAPACITY了解Storm所包涵的基本概念及应用。熟悉Storm的安装。掌握简单的测试方法及基本使用方法。Storm概述Storm安装与配置一、Storm概述Storm是一个分布式实时计算系统，与Hadoop等批处理系统不同，Storm专注于流数据的处理，主要应用于实时分析、持续计算、在线机器学习、分布式远程调用以及数据抽取、转换和加载等领域。Storm的术语包括Stream、Spout、Bolt、Task、Worker、Stream Grouping和Topology。Storm主要特点简单的编程模型。可用各种编程语言。容错性。水平扩展。 计算是在多个线程、进程和服务器之间并行进行的。可靠的消息处理。 Storm保证每个消息至少能得到一次完整处理。任务 失败时，它会负责从消息源重试消息。快速。 系统的设计保证了消息能得到快速的处理，使用?MQ作为其 底层消息队列。本地模式。Storm概述Storm安装与配置二、Storm安装与配置检查python、Java、hosts的配置（1）下载ZooKeeper，命令如下。wget /apache/zookeeper/zookeeper-3.4.7/zookeeper-3.4.8.tar.gz （2）下载完毕后解压至/usr/local/目录下。sudo tar -zxf zookeeper-3.4.8.tar.gz -C /usr/local/（3）然后进入ZooKeeper文件夹下的conf下把zoo_sample.cfg复制并重命名为zoo.cfg。cd /usr/local/zookeeper-3.4.8/conf/cp–p zoo_sample.cfg zoo.cfgvim zoo.cfg直接用前面章节中Hadoop 的配置 ZooKeeper集群的搭建步骤如下：二、Storm安装与配置（4）按照下图9-4配置zoo.cfg文件 （5）手动创建dataDir文件夹。mkdir /home/hadoop/storage/zookeeper（6）在/home/hadoop/storage/zookeeper路径下创建文件myid并配置(zoo.cfg主机是serverX就写入数字X) 。vi myid（7）启动ZooKeeper。cd /usr/local/zookeeper-3.4.8/（8）查看Zookeeper-3.4.8所属于的用户权限 。chown -R hadoop /usr/local/zookeeper-3.4.8/（9）在ZooKeeper主目录下启动ZooKeeper。bin/zkServer.sh start启动成功后压缩文件夹发送给其他节点，创建dataDir文件夹更改相应的myid，并赋予相应的权限。二、Storm安装与配置（1）下载Storm并解压至/usr/local文件夹，命令如下：wget /apache/storm/apache-storm-0.10.0/apache-storm-0.10.0.tar.gz sudo tar -zxf apache-storm-0.10.0.tar.gz -C /usr/local/（2）配置Storm子目录conf的storm.yaml，如下图：vi conf/storm.yaml （注意配置不能顶格写）安装Storm二、Storm安装与配置（3）创建storm.local.dir目录，命令如下。mkdir /home/hadoop/aaamkdir /home/hadoop/aaa/workdir（4）启动Storm，命令如下 。cd /usr/local/apache-storm-0.10.0bin/storm nimbus bin/storm supervisor bin/storm ui 没有报错后打包解压至其他节点。进入Web界面进行查看：http://ip:8080/http://IP:8080，看到节点都正常即安装成功。安装Storm二、Storm安装与配置Maven是现在Java社区中最强大的项目管理和项目构建工具，这里我们使用借助Maven工具。（1）首先我们下载maven。sudo apt-get install maven（2）Storm安装目录自带的测试案例，所以进入Storm当前目录下的examples/storm-starter。cd /usr/local/apache-storm-0.10.0/examples/storm-starter（3）storm-starter下有一个test文件夹，接着执行如下命令。mvn test当提示BUILD SUCCESS则代表命令执行成功。此时执行下面命令运行主类中的main方法，命令如下：mvn exec:java -Ds