orm下基于最佳并行度贪心调度算法.PDF

第３６卷第４期 计 算 机 应 用 研 究 Ｖｏｌ３６Ｎｏ４ ２０１９年４月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ａｐｒ．２０１９ Ｓｔｏｒｍ下基于最佳并行度的贪心调度算法 熊安萍，段杭彪，蒋亚雄 （重庆邮电大学计算机科学与技术学院，重庆４０００６５） 摘　要：开源分布式实时计算框架Ｓｔｏｒｍ在互联网、金融、电子商务等领域得到了广泛应用。Ｓｔｏｒｍ默认采用轮 询的调度策略，且依赖用户对ｔｏｐｏｌｏｇｙ任务的并行度配置，当配置不合理时依然会造成ｔｏｐｏｌｏｇｙ处理时延增大、 吞吐量降低等问题。针对该问题，提出了一种Ｓｔｏｒｍ下基于最佳并行度的贪心调度算法。调度时先求解ｔｏｐｏｌｏｇｙ 任务中各组件的最佳并行度，再采用贪心策略进行调度，以最小化节点间的网络通信开销。通过与默认调度算 法、线上调度算法和热边调度算法进行实验比较，结果表明该算法能够有效降低 Ｓｔｏｒｍ处理时延，提高系统吞吐 量和资源利用率。 关键词：实时计算；Ｓｔｏｒｍ；最佳并行度；贪心策略；调度算法 中图分类号：ＴＰ３１１；ＴＰ３０１６　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１９）０４０２４１０６８０４ ｄｏｉ：１０．１９７３４／ｊ．ｉｓｓｎ．１００１３６９５．２０１７．１１．０７８８ ＧｒｅｅｄｙｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｂｅｓｔｐａｒａｌｌｅｌｉｓｍｉｎＳｔｏｒｍ ＸｉｏｎｇＡｎｐｉｎｇ，ＤｕａｎＨａｎｇｂｉａｏ，ＪｉａｎｇＹａｘｉｏｎｇ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ４０００６５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：ＯｐｅｎｓｏｕｒｃｅｄｉｓｔｒｉｂｕｔｅｄｒｅａｌｔｉｍｅｃｏｍｐｕｔｉｎｇｆｒａｍｅｗｏｒｋＳｔｏｒｍｉｎｔｈｅＩｎｔｅｒｎｅｔ，ｆｉｎａｎｃｅ，Ｅｃｏｍｍｅｒｃｅａｎｄｏｔｈｅｒｆｉｅｌｄｓ ｈａｓｂｅｅｎｗｉｄｅｌｙｕｓｅｄ．Ｂｙｄｅｆａｕｌｔ，Ｓｔｏｒｍｕｓｅｓｔｈｅｐｏｌｌｉｎｇｓｃｈｅｄｕｌｉｎｇｐｏｌｉｃｙａｎｄｒｅｌｉｅｓｏｎｔｈｅｕｓｅｒ’ｓｃｏｎｆｉｇｕｒａｔｉｏｎｏｆｔｏｐｏｌｏｇｙ ｔａｓｋｓｉｎｐａｒａｌｌｅｌ．Ｗｈｅｎｔｈｅｃｏｎｆｉｇｕｒａｔｉｏｎｉｓｕｎｒｅａｓｏｎａｂｌｅ，Ｓｔｏｒｍｓｔｉｌｌｃａｕｓｅｓｄｅｌａｙｓｉｎｔｏｐｏｌｏｇｙｐｒｏｃｅｓｓｉｎｇａｎｄｄｅｃｒｅａｓｅｓ ｔｈｒｏｕｇｈｐｕｔ．Ｔｏｓｏｌｖｅｔｈｉｓｐｒｏｂｌｅｍ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｇｒｅｅｄｙｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎｂｅｓｔｐａｒａｌｌｅｌｉｓｍｉｎＳｔｏｒｍ．Ｗｈｅｎ ｓｃｈｅｄｕｌｉｎｇ，ｆｉｒｓｔｉｔｓｏｌｖｅｄｔｈｅｂｅｓｔｐａｒａｌｌｅｌｉｓｍｏｆｅａｃｈｃｏｍｐｏｎｅｎｔｉｎｔｏｐｏｌｏｇｙｔａｓｋ，ａｎｄｔｈｅｎａｄｏｐｔｅｄｇｒｅｅｄｙｐｏｌｉｃｙｔｏｍｉｎｉｍｉｚｅ ｔｈｅｎｅｔｗｏｒｋｃｏｍｍｕｎｉｃａｔｉｏｎｂｅｔｗｅｅｎｎｏｄｅｓ．Ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｄｅｆａｕｌｔｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍ，ｔｈｅｏｎｌｉｎｅｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍ ａｎｄｔｈｅｈｏｔｓｉｄｅｓｃｈｅｄｕｌｉｎｇａｌｇｏｒｉｔｈｍ，ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｃａｎｅｆｆｅｃｔｉｖｅｌｙｒｅｄｕｃｅｔｈｅＳｔｏｒｍｐｒｏｃｅｓｓｉｎｇｄｅｌａｙａｎｄ ｉｍｐｒｏｖｅｔｈｅｓｙｓｔｅｍｔｈｒｏｕｇｈｐｕｔａｎｄｒｅｓｏｕｒｃｅｕｔｉｌｉｚａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｒｅａｌｔｉｍｅｃｏｍｐｕｔｉｎｇ；Ｓｔｏｒｍ；ｂｅｓｔｐａｒａｌｌｅｌｉｓｍ；ｇｒｅｅｄｙｐｏｌｉｃｙ；ｓｃｈｅｄｕｌ