任务调度、负载平衡技术与停机准则.ppt

任务调度、负载平衡技术与停机准则(续)负载平衡是减少进程空闲的必要条件，但并非充分条件123456789101112P0P1P2P3开始同步结束t=0t=2t=32025/10/161

任务调度、负载平衡技术与停机准则(续)负载平衡是减少进程空闲的必要条件，但并非充分条件147102581136912P0P1P2P3开始同步结束t=0t=3t=62025/10/162

任务调度、负载平衡技术与停机准则(续)静态调度在算法执行之前事先进行任务分配对静态生成的任务，可用静态调度，也可用动态调度采用静态调度时，并行算法的设计与编程比较容易动态调度程序执行过程中在进程间分配任务不知道任务的计算量，静态调度有可能引起严重的负载不平衡，或者任务是动态生成的采用动态调度时，并行算法的设计与编程比较复杂2025/10/163

静态调度策略基于数据划分的静态调度基于任务分解的静态调度混合调度2025/10/164

基于数据划分的静态调度数组分布方法块分布：将数组中连续的部分数据分布到进程上循环块分布与循环分布随机块分布图划分方法2025/10/165

块分布一个d维数组通过沿某几个具体的维，将一个数据块分布到进程上当交互具有局部性时，块分布十分有效可以分为一维块分布与多维块分布两类2025/10/166

块分布(续)一维块分布示例按行块分布P0P2P3P1按列块分布P0P1P2P32025/10/167

块分布(续)二维块分布示例4?4块分布P0P8P12P4P1P9P13P5P2P10P14P6P3P11P15P72?4块分布P0P1P2P3P4P5P6P72025/10/168

块分布(续)一般高维分布下可以利用更多的进程来并行计算矩阵乘法就是典型例子对许多问题，高维分布除了提供更高的并发度外，也有助于减少进程交互矩阵乘法的例子2025/10/169

块分布(续)二维分布有利于减少矩阵乘法中的进程交互开销ACBP0P1P4P5P2P3P6P7P8P9P12P13P10P11P14P15P0P1P4P5P2P3P6P7P8P9P12P13P10P11P14P15P0P1P4P5P2P3P6P7P8P9P12P13P10P11P14P15AP0P2P3P1CP0P2P3P1BP0P2P3P12025/10/1610

循环块分布当对每个矩阵元素，其计算量相差比较大时，采用块分布将引起严重的负载不平衡。例如，稠密矩阵的LU分解Col_LU(A,n)Fork=1tondoForj=ktondoA(j,k):=A(j,k)/A(k,k);Forj=k+1tondoFori=k+1tondoA(i,j):=A(i,j)–A(i,k)?A(k,j);EndforEndfor2025/10/1611

循环块分布(续）采用3?3块分布时形成的14个任务2025/10/1612

循环块分布(续）循环块分布是块分布的一种变种，它有利于减轻负载不平衡程度与减少进程空闲将数组划分为多个块，使块的数量远大于进程数，再将块以循环方式分布到进程当每个块只有一个单位时，称为循环分布块分布也是循环分布的特例2025/10/1613

循环块分布(续）一维循环块分布与二维循环块分布的例子一维循环块分布P0P1P2P3P0P1P2P3P0P1P2P32?2循环块分布P0P0P2P2P1P1P3P3P0P0P2P2P1P1P3P32025/10/1614

随机块分布当任务分布具有一些特殊模式时，块循环分布可能也不能使得负载平衡，例如08124191352101463111570812419135210146311157081241913521014631115708124191352101463111572025/10/1615

随机块分布(续)引入长度为?p的数组V，对0?j?p，置V(j)的值为j对V随机置换，将置换后V(k?:(k+1)?-1)对应的块分布到进程k上下图给出了?＝3且p=4时的一个例子V=[0,1,2,3,4,5,6,7,8,9,10,11]random(V)=[8,2,6,0,3,7,11，1,9,5,4,10]2025/10/1616

图划分方法有许多算法是针对稀疏数据结构的：在对许多物理