混合并行计算环多级并行化编程模式的研究.pdfVIP

中文摘要 人类对计算能力无休止的需求，以及并行计算领域两次重要的技术变革，使 并行计算技术越来越受到人们的重视，尤其是通过各种互联技术连接在一起的分 布式集群并行处理体系结构已经成为当今并行计算的主流。其中，一种特殊的结 构是CMP—CLUSTER，即集群系统中单个计算节点是基于多个CMP芯片的共享存储 多处理器并行系统，由于涉及到分布式存储和共享存储两种并行体系结构，我们 称之为混合并行计算系统。并行编程难一直是阻碍并行计算广泛普及的主要原 因，尤其是在CMP—CLUST职这样的混合并行计算环境中存在多级并行化问题，即 节点间并行、处理器芯片间并行、处理器芯片内多个核心并行，涉及到消息传递 和共享变量两种并行编程模型，其编程难度更大。因此，如何为该混合并行计算 环境提供特定的并行程序设计方法、编程模型、环境和工具来简化并行编程，是 并行计算领域研究的热点和难点。本文正是在这种背景下展开了工作，所做的主 要工作包括： 系统地建立了CMP-CLUSTER混合并行计算环境概念模型下的通信层次模型 和存储层次模型，指出通信层次模型中每个层次的操作开销和影响，结合CMP系 统共享高速缓存的存储特征，研究提出了在通信层面和存储器访问层面并行编程 的特征，并以此为基础、以最大化CMP-CLUSTER混合系统中每个并行硬件层次的 优势为目标，提出了适合于CMP—CLUSTER环境的并行编程模式，并对该模式的特 点进行了研究和总结。 根据本文提出的CMP—CLUSTER混合并行计算环境概念模型的特征，提出针对 于该混合并行计算环境的分层次、自顶向下、逐步细化的并行编程模型，该模型 分为五层：任务分配模式层、任务计算模式层、设计模式并行编程框架层、中间 框架代码层、任务部署与映射层。每一层分别对应在CMP-CLUSTER混合并行计算 环境概念模型下进行并行处理的某一个特定的目的和步骤。 针对本文提出的并行编程模型中的每一层，本文都研究了相应的简化并行编 程实现的方法、技术和工具，以帮助在混合并行计算环境下进行并行程序设计的 人员提高编程效率，减少人为因素引进的错误。 基于设计模式的思想，设计并实现了两种并行编程框架，用户可以直接调用 框架提供的高级应用程序接口，就可以自动的完成数据的划分和任务的自动并行 化执行。基于数据并行计算提出了一种基于阵列数据并行的FJRR并行设计模式， 并以并行编程框架的形式实现了该设计模式的自动计算；另外，提出了一种基于 任务交互图模式的并行编程框架，并具体实现了基于动态规划模式的任务自动并 行与调度系统，从而大大的简化用户在这两种模式下进行并行编程的复杂度。 关键词：片上多处理器，集群，混合并行计算系统，并行编程模型，模式，并行 编程框架 ABSTRACT more more Parallel becomesand becauseoftwo computing popular important renovationsand endlessdemandsfor technology people’S power． computing theCLUSTERhasbecome isonekind Especially system popular．CMP-CLUSTER ofCLSUTERandinvolvesdistributed andshared memory memoryparallel architectures．Soitisreferredtoahybridparallelcomputingsystem，HPCS．However, itis difficultto inthisHPCSenvironmentbecausethereis very programming h