基于Storm slot使用率低优先动态负载均衡策略.docVIP

基于Storm slot使用率低优先动态负载均衡策略 　　摘要：Storm现有的负载均衡机制，会导致集群节点slot资源使用不均衡，而且在集群节点资源变化后，也无法动态调度各节点负载。针对该问题，该文提出基于slot使用率低优先的动态负载均衡策略。该策略在给Topology分配slot计算资源时，优先分配slot使用率低的节点；当集群可用资源变化时，对节点按照负载从高到低排序，并将高负载节点上的任务动态迁移到低负载节点上，实现动态负载均衡。实验结果表明，基于slot使用率低优先的动态负载均衡策略能够有效促进Storm集群负载均衡，提升Storm集群的计算性能。 　　关键词：Storm集群；实时计算；slot使用率；动态迁移；负载均衡 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2016）36-0008-04 　　Dynamic Load Balance Strategy Based on Low Priority of Slot Usage 　　HUANG Rong，WANG Xian-wen 　　（Chongqing University of Posts and Telecommunications， Chongqing 400065， China） 　　Abstract： The default load balance mechanism of Storm can lead to the use of cluster node slot resources is not balanced. Besides， it can not dynamically schedule each node load after the resources in the cluster nodes changes. To solve this problem， this thesis proposes a dynamic load balance strategy based on the low priority of slot usage. When distribute slot computing resources for Topology， the strategy gives priority to slot with low rate of usage. When the cluster resource availability changes， the strategy will rank the nodes according to the load from high to low， and will dynamically migrate load from high load nodes to low load nodes， achieving dynamic load balance. The experimental results show that the strategy can effectively promote the Storm cluster load balance， and enhance the performance of the Storm cluster. 　　Key words： Storm cluster； real-time computing； slot usage； dynamic migration； load balance 　　1 背景 　　Storm[1-3]是一款分布式的、可?U展的、容错性良好、可靠性高的开源实时计算系统，被广泛应用于实时计算、流式计算[4]、分布式RPC、机器学习、ETL等方面，受到国内外互联网企业的青睐，有成熟的商用经验。 　　负载均衡技术[5]是Storm集群高效率的保证，然而Storm在负载均衡方面的表现却无法令人满意，存在着较多的问题。主要表现为：Storm默认的轮询调度算法，会导致集群节点资源使用的不均衡；在集群中添加、删除节点后，或者集群中添加、删除worker进程，从而导致集群计算资源的变化，Storm也无法根据改变后的可用资源做出有效调整策略。 　　针对Storm现存的负载均衡问题，本文提出基于slot使用率低优先的动态迁移负载均衡策略。该策略统计集群节点slot使用率，并标记slot使用率最低的节点，优先分配该节点上的slot资源。当集群可用资源变化时，对节点按照负载从高到低排序，并将高负载节点上的负载动态迁移到低负载节点上，实现动态负载均衡。 　　2 相关工作 　　负载均衡技术是保证Storm实时计算应用高性能和高吞吐量的有效手段。Storm实时计算应用通常