课程代码03 storm重要概念.pptxVIP

北京传智播客教育Storm重要概念

北京传智播客教育Storm概念Spout（消息源）Bolt（消息处理者）Streamgrouping（数据的分发方式）Topology（拓扑）Worker（工作进程）Task（执行具体逻辑的任务）Executor（执行Task的线程）Configuration（配置）

北京传智播客教育storm里面各个对象的示意图

北京传智播客教育计算拓补：Topology一个实时计算应用程序的逻辑在storm里面被封装到topology对象里面，我把它叫做计算拓补.Storm里面的topology相当于Hadoop里面的一个MapReduceJob,它们的关键区别是：一个MapReduceJob最终总是会结束的，然而一个storm的topoloy会一直运行—除非你显式的杀死它。一个Topology是Spouts和Bolts组成的图状结构，而链接Spouts和Bolts的则是Streamgroupings。

北京传智播客教育消息源:Spout消息源Spouts是storm里面一个topology里面的消息生产者。一般来说消息源会从一个外部源读取数据并且向topology里面发出消息:tuple。消息源Spouts可以是可靠的也可以是不可靠的。一个可靠的消息源可以重新发射一个tuple如果这个tuple没有被storm成功的处理，但是一个不可靠的消息源Spouts一旦发出一个tuple就把它彻底忘了—也就不可能再发了。消息源Spouts可以发射多条消息流stream。要达到这样的效果，使用OutFieldsDeclarer.declareStream来定义多个stream,然后使用SpoutOutputCollector来发射指定的sream。

北京传智播客教育消息处理者:Bolt所有的消息处理逻辑被封装在bolts里面。Bolts可以做很多事情：过滤，聚合，查询数据库等等。Bolts的主要方法是execute,它以一个tuple作为输入，Bolts使用OutputCollector来发射tuple,Bolts必须要为它处理的每一个tuple调用OutputCollector的ack方法，以通知storm这个tuple被处理完成了。–从而我们通知这个tuple的发射者Spouts。一般的流程是：Bolts处理一个输入tuple,发射0个或者多个tuple,然后调用ack通知storm自己已经处理过这个tuple了。storm提供了一个IBasicBolt会自动调用ack。

北京传智播客教育

北京传智播客教育NimbusZookeeperSupervisorSupervisorSupervisor控制节点，用于提交、分配任务，集群监控等协调公有数据的存放（如心跳信息、集群状态、配置信息等）Nimbus将分配给Supervisor的任务写在Zookeeper中workerworkerworkerworker工作节点，负责接收Nimbus分配的任务，管理属于自己的worker进程执行具体逻辑的进程

北京传智播客教育

北京传智播客教育WorkerSupervisor会监听分配给它那台机器的工作，根据需要启动/关闭工作进程，这个工作进程就是worker每一个worker都会占用工作节点的一个端口，这个端口可以在storm.yarm中配置。一个topology可能会在一个或者多个工作进程里面执行，每个工作进程执行整个topology的一部分，所以一个运行的topology由运行在很多机器上的很多工作进程组成。

北京传智播客教育Task：任务每一个Spout和Bolt会被当作很多task在整个集群里面执行。默认情况下每一个task对应到一个线程（Executor），这个线程用来执行这个task，而streamgrouping则是定义怎么从一堆task发射tuple到另外一堆task。

北京传智播客教育配置Configurationstorm里面有一堆参数可以配置来调整nimbus,supervisor以及正在运行的topology的行为，一些配置是系统级别的，一些配置是topology级别的。所有有默认值的配置的默认配置是配置在default.xml里面的。你可以通过定义个storm.xml在你的classpath厘米来覆盖这些默认配置。并且你也可以在代码里面设置一些topology相关的配置信息–使用StormSubmitter。当然，这些配置的优先级是:default.xmlstorm.xmlTOPOLOGY-SPECIFIC配置。

北京传智播客教育消息流：Stream消