Sm集群并行处理机制及优化策略.pdfVIP

一、storm并行的基本概念

storm集群中的一个机器可以运行一个或者多个worker,对应于一个或者多个

topologies.

1个worker进程运行1个或多个excutor线程。每个worker从属于一个

topology.

executor是单线程。每1个executor运行着相同的组件(spout或bolt)的1个或

多个task。

1个task执行着实际的数据处理。

二、是否需要提高workers数目

一台机器上的一个topology只使用一个worker,主要时减少了

worker之间的数据传输。

三、executor的数目

executor是真正的并行度（上的并行度）。（task数目是想要设置的

并行度）

executor初始数目=spout数目+bolt数目+acker数目（这些加起来也就是

task数目。）

spout数目，bolt数目，acker数目运行时是不会变化的，但是executor

数目可以变化。

四、是否需要提高TASK数目

TASK的存在只是为了topology扩展的灵活性，与并行度无关