t3-storm架构与流处理.pptVIP

Storm架构与流处理 唐刚 Storm架构(1) 与Hadoop MapReduce相似 MapReduce是由JobTracker和TaskTracker组成 JobTracker是主节点，TaskTracker是从节点 MapReduce执行的是Job Job ———— JobTracker ———— TaskTracker，运行具体处理组件逻辑的进程是Child Job运行时，分为map阶段和reduce阶段，每个阶段中传递的数据单位是kv对 Storm是由Nimbus和Supervisor组成 Nimbus是主节点， Supervisor是从节点 Storm执行的是Topology Topology ———— Nimbus ———— Supervisor,运行具体处理组件逻辑的进程是Worker Topology运行时，分为Spout阶段和Bolt阶段，每个阶段中传递的数据单位是Tuple Storm架构(2) Storm组件 Topology：Storm中运行的一个实时应用程序 Nimbus：负责资源分配和任务调度 Supervisor：负责接受Nimbus分配的任务，启动和停止属于自己管理的worker进程 Worker：运行具体处理组件逻辑的进程 Spout：在一个Topology中产生源数据流的组件 Bolt：在一个Topology中接收数据，然后执行处理的组件 Tuple：一次数据传递的基本单元 Storm流处理过程 Storm是对流Stream的抽象，Storm将流中元素抽象为Tuple 流是一个不间断的无界的连续Tuple Storm认为每个Stream都有一个Stream源，它将这个源头称为Spout Bolt可以消费任意数量的输入流 本章总结 Storm架构 Nimbus、Supervisor Topology Spout、Bolt Tuple Storm流处理过程 Storm是对流Stream的抽象，流是一个不间断的无界的连续Tuple Spout是流的源头 Bolt可处理任意数量的输入流 mapreduce的组成由JobTracker和TaskTracker。其中，JobTracker是主节点，TaskTracker是从节点。 mapreduce执行的是job。job表示用户提交的一段计算代码。job在运行时，先提交给JobTracker，然后由JobTracker分给TaskTracker执行。 在job运行时，分为map阶段和reduce阶段。每个阶段中传递的数据单位是kv对。 storm的组成由nimbus和supervisor。其中，nimbus是主节点，supervisor是从节点。 storm执行的是topology。topology表示用户提交的一段计算代码。toplogy在运行时，先提交给nimbus，然后由nimbus分配给supervisor执行。 在topology运行时，分为spout阶段和bolt阶段。每个阶段中传递的数据单位是tuple。 * Nimbus和Supervisor两种组件。这两种组件都是快速失败的，没有状态。任务状态和心跳信息都保存在Zookeeper上。 Spout：一般是从外部数据源（如Message Queue、RDBMS、NoSQL、Realtime Log）不间断地读取数据并发送给Topology消息（tuple元组）。 Bolt：Storm中的消息处理者，用于为Topology进行消息的处理，Bolt可以执行过滤， 聚合， 查询数据库等操作，而且可以一级一级的进行处理。 * Storm是对流Stream的抽象，流是一个不间断的无界的连续tuple，注意Storm在建模事件流时，把流中的事件抽象为tuple即元组。 Storm将流中元素抽象为Tuple，一个tuple就是一个值列表value list，list中的每个value都有一个name，并且该value可以是基本类型，字符类型，字节数组等，当然也可以是其他可序列化的类型。 Storm认为每个stream都有一个stream源，也就是原始元组的源头，所以它将这个源头称为Spout。 有了源头即spout也就是有了stream，那么该如何处理stream内的tuple呢。将流的状态转换称为Bolt，bolt可以消费任意数量的输入流，只要将流方向导向该bolt，同时它也可以发送新的流给其他bolt使用，这样一来，只要打开特定的spout（管口）再将spout中流出的tuple导向特定的bolt，又bolt对导入的流做处理后再导向其他bolt或者目的地。 以上处理过程统称为Topology即拓扑。拓扑是storm中最高层次的一