Storm - 并发机制 通信机制.pptx

Storm – 流式处理框架 Storm 并发机制 Storm 通信机制 Storm 并发机制 01 Worker processes Executors (threads) Tasks Storm 并发机制 02 Worker – 进程 一个Topology拓扑会包含一个或多个Worker（每个Worker进程只能从属于一个特定的Topology） 这些Worker进程会并行跑在集群中不同的服务器上，即一个Topology拓扑其实是由并行运行在Storm集群中多台服务器上的进程所组成 Executor – 线程 Executor是由Worker进程中生成的一个线程 每个Worker进程中会运行拓扑当中的一个或多个Executor线程 一个Executor线程中可以执行一个或多个Task任务（默认每个Executor只执行一个Task任务），但是这些Task任务都是对应着同一个组件（Spout、Bolt）。 Task 实际执行数据处理的最小单元 每个task即为一个Spout或者一个Bolt Task数量在整个Topology生命周期中保持不变，Executor数量可以变化或手动调整 （默认情况下，Task数量和Executor是相同的，即每个Executor线程中默认运行一个Task任务） Storm 并发机制 03 设置Worker进程数 Config.setNumWorker