基于内存约束的一维负载平衡方法及其应用.pdfVIP

基于内存约束的一维负载平衡方法及其应用 刘旭 1,2 莫则尧 2 曹小林 2 (1 中国工程物理研究院研究生部, 北京, 100088) (2 北京应用物理与计算数学研究所高性能计算中心, 北京, 100088) [摘 要] 在现代高性能计算机中，微处理器的多级存储结构（多级 Cache、主存）较大地影响程序的实际 性能。对并行应用，如果在平衡处理器间计算负载的同时，均衡地使用各个处理器的内存资源，将更好地 发挥 Cache 的作用，改进性能。约束各个处理器可使用的内存容量是确保均衡使用内存资源的有效手段。 本文在此内存约束的条件下，提出一种新的一维负载平衡方法。该方法是一个迭代法，严格的理论证明表 明，它可以线性收敛到最优剖分。针对典型的负载不平衡模型和三维分子动力学问题，1024 个处理器上的 实际应用表明，该方法可以取得较好的效果。 [关键词] 并行计算，负载平衡，内存约束 [中图分类号] TP301 0 引言 在现代高性能计算机的数百上千个处理器上，负载平衡是影响实际应用并行性能的一个 关键因素[1]。但是，随着微处理器多级存储结构（主存、一级Cache、二级 Cache 等）的发 展，负载平衡问题变得越来越复杂。实际应用表明，即使对理论计算量均衡的问题，如果各 个处理器使用的内存容量不均衡，访问内存的模式不一致，则也有可能出现严重的负载不平 衡现象，即各个处理器的计算 CPU 时间不平衡。因此，一个好的负载平衡方法，在考虑计 算均衡的同时，也应该考虑内存容量的均衡，这样，才能获得更高的实际应用性能。 内存约束是均衡处理器间内存容量的有效方法。假设并行应用在所有处理器所需的总容 k p 个字节，称之为 量等于 个字节，使用 台处理器，则平均每个处理器使用的内存容量为 k p 平均内存容量。内存约束可以表述为：处理器使用的最大内存容量小于平均内存容量的已知 倍数α ，称该倍数为内存约束因子。 基于内存约束因子α ，负载平衡方法具有新的内涵：即在满足内存约束的前提下，在处 理器之间取得计算负载的平衡。由此，只要α 的取值合理，则可以认为并行应用取得了计算 负载和内存资源的综合平衡。 对于高维的负载平衡问题，图剖分方法[5]及软件 Chaco[8]、Metis[9] 、Jostle[10]可以取 得较好的效果。但是，图剖分方法需要在处理器间大幅度地迁移计算任务，这对基于离散网 格的科学计算问题，开销很大，不适应现代高性能计算机求解时间相关的科学计算问题。当 处理器个数较多时，这种开销更加剧烈[1]。因此，另外一个方法得到了重视。该方法采用 空间填充曲线（Morton 、Hilbert 等[4]）将高维空间相邻的计算任务映射到一个一维阵列， 然后对该一维阵列实施负载平衡[1,6,7]。空间填充曲线可以保证在高维空间相邻的任务在一 维阵列上也是尽量相邻的。于是，高维空间的负载平衡方法就可以转换为一维阵列的均衡剖 分问题。 文[2,3]在仅考虑处理器执行时间的单一条件下，对一维负载不平衡问题，提出了多层均 权的负载平衡方法。它是一个迭代法。理论和数值实验表明：该方法可以快速收敛。但是， 该方法没有考虑内存约束，无法适应内存容量受限（内存约束因子α 较小）的实际应用，需 [基金项目] 本文获国家杰出青年科学基金，国家自然科学基金和国家 973 项目 (2005CB321702)资助。 [作者简介] 刘旭(1981-)，男，北京，博士研究生，主要从事并行计算研究。Email ：danining@ 要进行改进。 内存资源受限的典型实例有很多，它们可以分为两个方面。第一，处理器的主存容量不 够，需要限制。例如：(1)在经典分子动力学的模拟中[3,6,7]，分子可能聚集于某些局部区域， 而该区域被分配到某个处理器，于是，该处理器内