并行计算综述.docxVIP

什么是并行计算 并行计算(parallel computing )是指，在并行机上，将一个应用分解成多个子任务，分配给 不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度， 或者增大求解应用问题规模的目的。 由此，为了成功开展并行计算，必须具备三个基本条件： 并行机。并行机至少包含两台或两台以上处理机，这些处理机通过互连网络相互连接， 相互通信。 应用问题必须具有并行度。也就是说，应用可以分解为多个子任务，这些子任务可以并 行地执行。将一个应用分解为多个子任务的过程，称为并行算法的设计。 并行编程。在并行机提供的并行编程环境上，具体实现并行算法，编制并行程序，并运 行该程序，从而达到并行求解应用问题的目的。 problem I iiiniiiii 111 tN D t2 t1 probleminstnictlonB-K i I problem instnictlonB -K i I 并行计算的主要研究目标和内容 对于具体的应用问题，采用并行计算技术的主要目的在于两个方面: 加速求解问题的速度。 提高求解问题的规模。 组成并行机的三个要素为： ?结点(node)。每个结点由多个处理器构成，可以直接输入输出(I/O) 互联网络(interconnect network )。所有结点通过互联网络相互连接相互通 信。 ? 内存（ memory ）。内存由多个存储模块组成，这些模块可以与结点对称地分 布在互联网络的两侧，或者位于各个结点的内部。 并行编程模型 1.共享内存模型 a） 在共享编程模型中，任务间共享统一的可以异步读写的地址空间。 b） 共享内存的访问控制机制可能使用锁或信号量。 c） 这个模型的优点是对于程序员来说数据没有身份的区分， 不需要特别清楚 任务间的单数据通信。程序开发也相应的得以简化。 d） 在性能上有个很突出的缺点是很难理解和管理数据的本地性问题。 线程模型 在并行编程的线程模型中，单个处理器可以有多个并行的执行路径。 消息传递模型 消息传递模型有以下三个特征： 1） 计算时任务集可以用他们自己的内存。多任务可以在相同的物理处理 器上，同时可以访问任意数量的处理器。 2） 任务之间通过接收和发送消息来进行数据通信。 3） 数据传输通常需要每个处理器协调操作来完成。例如，发送操作有一个 接受操作来配合。 数据并行模型 数据并行模型有以下特性： 并行工作主要是操纵数据集。数据集一般都是像数组一样典型的通用的数 据结构。 任务集都使用相同的数据结构，但是，每个任务都有自己的数据。 每个任务的工作都是相同的，例如，给每个数组元素加 4。 在共享内存体系结构上，所有的任务都是在全局存储空间中访问数据。在 分布式存储体系结构上数据都是从任务的本地存储空间中分离出来的 基于消息传递的并行计算环境 在当前并行机上，比较流行的并行编程环境可以分为三类：消息传递、共 享存储和数据并行，它们的典型代表、可移植性、并行粒度、并行操作方式、 数据存储模式、数据分配方式、学习难度、可扩展性等方面的比较如下： 共享存储并行编程基于线程级细粒度并行，仅被 SMP和DSM并行机所 支持，可移植性不如消息传递并行编程。但是，由于它们支持数据的共享存储， 所以并行编程的难度较小，但一般情形下，当处理机个数较多时，其并行性能 明显不如消息传递编程。 消息传递并行编程基于大粒度的进程级并行，具有最好的可移植性，几 乎被当前流行的各类并行机所支持，且具有很好的可扩展性。但是，消息传递 并行编程只能支持进程间的分布存储模式，即各个进程只能直接访问其局部内 存空间，而对其他进程的局部内存空间的访问只能通过消息传递来实现。因此， 学习和使用消息传递并行编程的难度均大于共享存储和数据并行两种编程模 式。 三种并行编程环境主要特征一览表 特征 消息传递 共享存储 数据并行 典型代表 MPI 、PVM OpenMP HPF 可移植性 所有流行并行 SMP、DSM SMP 、 DSM 、 机 MPP 并行粒度 进程级大粒度 线程级细粒 进程级细粒度 度 并行操作方 式 l=L 异步 l=L 异步 松散同步 数据存储模 分布式存储 共享存储 共享存储 式 数据分配方 式 显式 隐式 半隐式 式 学习入门难 较难 容易 偏易 度 可扩展性 好 、/?. 较差 一般 本书的主要目的是全面介绍消息传递并行编程环境 MPI ，因此，在以后的篇 幅中，将不再讨论共享存储和数据并行编程环境。 消息传递并行机模型 由于当前流行的各类 SMP、DSM、MPP 和微机机群等并行机均支持消息 传递并行程序设计，因此，有必要对这些具体并行机的体系结构进行抽象，设 计一个理想的消息传递并行机模型。基于该模型，用户可以在不考虑具体并行 机体系结构的条件下，组织消息传递