面向数据通信优化的并行程序执行模型-计算机软件与理论专业毕业论文.docx

摘 摘 要 摘 要 并行计算模型是并行计算的重要研究内容。随着高性能计算技术的日益发 展，并行计算的软硬件结构也越来越复杂. 一方面计算机硬件持续复杂化，如多 核处理器、异构多平台、各种高速网络等技术的加入，使得应用程序在这些平 台上的执行行为难以预测；另一方面计算机软件持续抽象化，并日益脱离硬件。 传统的并行计算模型已不能适应当前并行计算的高速发展。分层并行计算模型 的提出，从算法设计，程序实现和程序执行三个层次分别考虑，力图解决并行 计算模型不能适应当前并行计算发展的矛盾。 并行程序执行模型是分层并行计算模型的重要组成部分，其中的数据通信 过程又是并行程序执行模型中重要的一个方面，因为其与并行系统中的若干子 系统相关，如系统连接拓扑结构，应用程序通信拓扑，互连网络性能，处理器 间同步、负载平衡等等。本文基于若干实际应用研究，力图构建面向数据通信 优化的并行执行模型，将并行程序中的数据通信过程划分为三个子过程：数据 准备过程，通信准备过程以及数据传输过程。这三个子过程之间存在紧密的联 系却又有一定独立性，并且均对程序通信的速度和效率有着重要影响。本文从 三个不同的并行计算实例中深入分析这三个部分的特点以及优化方法，从不同 角度揭示了优化并行程序通信效率的若干方法。具体而言，本文的主要研究成 果贡献和创新点可概括为以下几点： (1) 提出了面向数据通信优化的并行执行模型： 通过对 MPI 实现中的通信操作 过程进行深入研究，从中抽取出了影响并行计算程序数据通信效率的各种 因素，将整个数据通信过程分解为数据准备、通信准备以及数据传输三个子 过程，分析了这三个子过程各自的特点和研究内容，本文提出了面向数据通 信优化的并行程序执行模型。同时给出了模型的一些性质和讨论，以期能够 预测出并行应用程序在运行时的行为以及帮助程序执行者对应用程序的数 据通信过程进行优化。 (2) 研究了数据传输过程的优化方法，并使用了执行模型分析预测了动态进程 映射方法实现程序的性能和执行行为：数据传输是三个子过程中最为复杂 和难以预测的过程。本文在优化 MPI 程序中的群集操作的实现中，基于数 据传输过程选择最优信道的思路，提出了动态进程映射方法。其基本思想是 在运行时改变进程的编号来改变群集操作拓扑结构，以期优化应用程序运 行时的效率。对于不同的运行时环境我们分别提出离线和在线两种不同的 方法来计算映射数组。本文基于 MPICH2 实现了动态进程映射方法，并在 I 实验中验证了执行模型的实用性和有效性。 (3) 研究了数据准备过程中的优化方法，并在三维快速傅里叶变换的应用中讨 论了其执行模型：数据准备过程的优化极大地影响着数据通信效率。本文以 三维快速傅里叶变换的实际应用为例，探讨了数据准备过程的优化对数据 通信的重要影响。本文同时提出了一种新的三维快速傅里叶变换的并行算 法，针对稀疏三维向量的傅里叶变换，通过重新调整 x、y、z 三个方向的计 算顺序，能最大限度地减少结点间的通信量，从而减少计算时间，提高并行 加速比。 (4) 对通信准备过程中的优化方法进行了探讨，并研究了 Sort-Last 模式下图像 合成过程实现程序的执行模型：通信准备过程在数据通信三个子过程中起 着承上启下的作用，本文以 Sort-Last 模式下的并行绘制为例，研究了通信 准备过程中的优化方法。图像合成是并行绘制中的一个性能瓶颈，本文提出 了一系列基于流水线的并行图像合成方法，通过重叠渲染与通信时间得到 了流畅的实时绘制效果。实验表明，流水线方法在结点数目的可扩展性上和 图像像素可扩展性上均优于已有算法。 关键词： 并行计算 分层并行计算模型 程序执行模型 数据通信 性能优化 三维傅里叶变换 并行绘制 进程映射 群集通信 II ABSTRACT ABSTRACT ABSTRACT Parallel computational model is one of the most important contents in parallel com- puting. Along with the development of high performance computing, the complexity of hardware/software structure in parallel computing has been increasing for decades. The hardware is getting more and more complex, many technologies have been intro- duced to parallel computing, such as multi-core/many-core processors, h