JStorm 调度测试.docxVIP

调度细则任务调度算法以worker为维度；调度过程中正在进行的调度动作不会对已发生的调度动作产生影响；调度过程中用户可以自定义 useDefined Assignment，和使用已有的old Assignment，这两者的优先级是：useDefined Assignmentold Assignment;用户可以设置task.on.differ.node参数，强制要求同组件的task分布到不同supervisor上；默认调度算法：1、以worker为维度，尽量将worker平均分配到各个supervisor上；2、以worker为单位，确认worker与task数目大致的对应关系（注意在这之前已经其他拓扑占用利用的worker不再参与本次动作）；3、建立task-worker关系的优先级依次为：尽量避免同类task在同一work和supervisor下的情况，尽量保证task在worker和supervisor基准上平均分配，尽量保证有直接信息流传输的task在同一worker下；2 Worker资源足够，测试调度分配是否合理2.1 常规测试一配置：task.on.differ.node=false，topology_nums=1, topology_level=1, workers=6, spout.parallel=6, bolt_0.parallel=6, acker.executors=6; 每台机子canused_slot=16测试目标（当每台机子端口一致时，work平均分配，同类task尽量分开，且task尽量均匀分布于work和supervisor）S_x 代表spout-task， B_x_x 代表第x个bolt-task，A_x 代表acker-taskSupervisor123456Work1spout-task111111Bolt0-task111111acker-task111111测试结果:Worker被一一分配到supervisor上Task按规定分配到work上去:合理2.2 常规测试二配置：task.on.differ.node=false，topology_nums=1, topology_level=1, workers=24, spout.parallel=10, bolt_0.parallel=18, acker.executors=12;机1端口数量=4、机1端口数量=4、机1端口数量=4、机1端口数量=4、机1端口数量=4、机1端口数量=4测试目标①以worker为维度，尽量将worker平均分配到各个supervisor上；②保证同类型task尽量均分到不同worker和supervisor的基础上，其次保证每一个worker和supervisor的task数量均衡，最后保证直接相关的task放到一个进程上去；测试结果:Worker被一一分配到supervisor上Task按规定分配到work上去（共有24端口，先分配12个acker保证能够放到不同的进程且每个supervisor有2个acker；再分配18个bolt-task，其中6个task会与acker在一个进程；最后分配10个spout-task分配，应该和bolt-task在一起）合理2.3 常规测试三配置：task.on.differ.node=false，topology_nums=1, topology_level=2, workers=12, spout.parallel=8,bolt_0.parallel=9,bolt_1.parallel=9,acker.executors=8;机1端口数量=4、机1端口数量=4、机1端口数量=4、机1端口数量=4、测试目标①以worker为维度，尽量将worker平均分配到各个supervisor上；②保证同类型task尽量均分到不同worker和supervisor的基础上，其次保证每一个worker和supervisor的task数量均衡；最后保证直接相关的task放到一个进程上去，测试结果:Worker被平均分配到supervisor上Task按规定分配到work上去合理3 worker 设置测试3.1 worker数量设置大于端口数量配置：task.on.differ.node=false，topology_nums=1, topology_level=1, workers=20, spout.parallel=8,bolt_1.parallel=9,acker.executors=8;机1端口数量=4、机1端口数量=4、机1端口数量=4、机1端口数量=4、测试目标当worker数量不足时，调度可以分配；分配数采用的是最大可利用的端口数量测试结果:分配成功3