分布式数据流查询系统中负载平衡算法研究.pdfVIP

计算机科学2007V01．34No．1lA 分布式数据流查询系统中负载平衡算法的研究*) 杜东明王丹李茂增 (北京工业大学计算机学院 北京100022) 摘要分布式数据流系统的优势在于能够集合多个查询节点，通过节点之问的任务调度，使其整体的能力远远 突破单个节点查询系统的限制。通过针对数据流系统运行特征的研究，我们发现数据流系统的瓶颈常常并非每个 查询节点资源有限性，而是节点之间数据转移代价过高，从而增加了系统整体的负载，降低了系统的查询速度。基 于此，本文着重解决在网络速度有限的情况下，分布式数据流系统的负载平衡问题。本文通过对节点实施超载和 欠栽情况下的负载转移策略的实施，使得整个系统能够达到更好的执行效果。 关键词分布式数据流系统，负载平衡，负载转移 TheResearchand ofLoadBalanceinaDistributedDataStream Implementation System DU LI WANGDan Dong—Ming Mao-Zeng of of 100022) (CollegeComputerScience，BeijingUniversityTechnology，Beijing AbstradConcernedthe oflowtransmissionbetweennodesinadistributeddatastream problem speed system。this aloadbalance networkloadtO the ofwhole presents algorithmrespecting improveperformancesystem．By paper node limitandlowerlimittO networkloadwithasmallvalue．thewhole givingevery thesystem query upper keep loadand is thetestresultis and system’S latency reduced．Theisdescribed．and analyzed． greatly algorithm given datastream KeywerdsDistributed system，Loadbalance，Loadmigrations 出现错误的情况下，可以由正常节点接管错误节点 1 前言 的工作，因而能够达到较高的可用性。 Internet网络的普及、电信、传感器网络等产业 分布式数据流管理系统由多个查询节点构成， 的迅猛发展使得当今人们需要面对的数据量成爆炸 对于用户发出的查询计划生成查询图(由操作符和 趋势上升。面对的大数据量、高实时的数据流的查 操作符之间数据通路构成)，系统根据算法将查询图 询需求，针对实时流动数据查询的数据流管理系统 分割为若干子图，并将这些子图分派给每个查询节 应运而生。