基于加速扩散算法的同构系统动态负载平衡.docxVIP

基于加速扩散算法的同构系统动态负载平衡 随着分布式计算技术的普及，越来越多的科学家在分布式并行系统中进行科学计算。当并行系统的所有节点都完整时，这种系统被称为相同的结构，相反，异构平行系统在工作站网络环境中经常被称为相同结构的系统。 负载平衡问题是许多研究学者的研究焦点.如果计算负载可以在运行之前确定,可以事先将负载划分这是静态负载平衡问题;若只能在运行时测量计算负载并动态确定负载划分,则是动态负载平衡问题.对于异构系统,不同体系结构的处理机的计算速度、利用率等等很难事先估算,静态负载平衡需要很多假定;动态负载平衡无须对处理机的计算速度作假定,可根据实际测量数据进行调整. 实现动态负载平衡的方法很多,一些学者采用由一个节点监视整个系统的负载状况,并控制整个系统的负载分配的方法,这称为直接方法,它的优点是简单、直观,在一些应用中取得了较好的效果.另一类方法是紧邻方法(nearest-neighbor approach),它假定并行处理系统是由多个节点按照一定的结构相互连接构成的并行处理网络,每个节点只能与其直接连接的节点通信,计算负载也只能通过这些连接移动.在负载平衡过程中,每个节点只能与其周围的节点进行负载交换,通过多次循环迭代实现系统的负载平衡.采用这种模式的负载平衡算法有:扩散方法(diffusion method)、维交换法(dimension exchange method)和基于梯度的方法(gradient based method)等.在维交换法中,每个节点在一个时间内只与它的一个相邻的节点进行负载平衡.在超立方体结构中在每个节点与其所有相邻的节点进行负载平衡后,整个系统达到负载平衡.基于梯度的方法有多种,其共同特点是用负载梯度图来描述整个系统的负载情况,负载是向着梯度最陡方向的节点移动的.其中,梯度模式方法(gradient model method)用计算负载压力面来表示负载的移动.在扩散算法中,每个节点向它周围计算负载较低的节点,在送出计算负载的同时从计算负载高的节点接受计算负载.一些学者还研究了构造切比雪夫多项式来加速收敛的方法.但是,上述算法都是针对同构系统的.Chi-Chung Hui提出了针对异构系统的流体负载平衡(hydrodynamic load balancing)方法,该方法用连通器中水的流动来计算负载的移动,还应用水的位能在平衡时最低的原理计算负载的移动.本文将扩散方法扩展到异构系统,重点研究了不同速度的处理机安排在异构系统的不同位置对收敛速度的影响,并利用它来加速扩散算法收敛速度,提出了一种找到收敛速度较快的处理机安排的算法. 1 节点计算负载转移的一般方法 我们假设并行处理系统是由用某种拓扑结构的网络相连的处理速度不同的节点构成.该系统可以用节点图G=(V,E)来表示,其中V是节点,P是节点数量,|V|=P,E是边,代表节点之间的通信连接.我们将节点从1~P顺序编号,使每个节点有惟一的序号与之对应,节点用ni表示.同样,我们将边从1~|E|编号,使每个边也有惟一的序号与之对应,用ei表示,也可用ei j表示连接节点ni,nj的边,|E|是边的数量.第i个节点的计算速度是si,计算负载是wi,计算时间是li=wi/si,节点的最缺计算时间是 负载平衡问题可以归结为通过调整计算时间wi,使该节点的时间为l,则系统达到负载平衡,节点计算时间变化向量是 其中()T为()的转置矩阵.我们规定,节点间的每一条边都有一个方向,从序号大的处理节点指向序号小的节点.设沿ei边计算负载的转移量是δi,计算负载转移向量x=(δ1,δ2,δ3,…,δ|E|)T,沿边eij的负载转移量也可成δij,对于节点i,它的计算负载总变化量是,其中j?i表示节点j与节点i之间有边直接相连,称为节点j与节点i相邻.如果整个系统达到负载平衡,对于节点i有 写成矩阵的形式为 其中S为对角矩阵,S=diag(s1,s2,s3,...,sP),A为图G的邻接矩阵,其维数为|V|×|E|,其元素aij为 因此,负载平衡算法归结为求出每一条边的计算负载转移量,即向量x,使计算时间相同. 对于给定的系统,已知速度对角矩阵S和邻接矩阵A,向量b可以通过测量处理节点的处理时间li并通过式(1)和式(2)得出,因此,动态负载平衡问题归结于求解代数方程式(3).它有|E|个未知变量,有P=|V|个方程,一般地,|E|P,所以式(3)的解不惟一,存在多种方法来求解该方程,各种方法的结果也可以各不相同. 2 节点的扩散算法 如图1所示,用一组相互连接的连通器建立异构扩散算法的模型.设有P个水平截面积不同的容器,在底部有管道相互连接,容器内有水,可以通过连接管在容器之间流动.容器的底面都在同一水平面上.如果在初始时刻液面有高有低,水就会在容器之间流动