高性能计算知识：MPI并行计算技术分析.pdfVIP

高高性性能能计计算算知知识识：：MPI并并行行计计算算技技术术分分析析 免费群 HPC系统实际上就是一个并行计算系统，很多初学 刚接触 并行计算的时候会对MPI、、OpenMPI和和OpenMP产生非常大 的疑惑，主要原因是对这几个概念本身理解的不清晰以及这 几个缩写的字母确实是如此的近似。下面先通过一张图来看 看MPI、OpenMPI和OpenMP 的区别。 MPI(Message Passing Interface)是信息传递接口，是独立于 第1页 语言的通信协议(标准)，是一个库。MPI的实现有MPICH 、 MPI-1、MPI-2、OpenMPI、IntelMPI、platformMPI等 等，OpenMPI(open Message Pass ng Interface)是MPI的一种实 现，也是一种库项目。 OpenMP(Open Multiprocessing)是一种应用程序界面(即 Appl cat on Program Interface)，是一种并行的实现和方法，也 可以认为是共享存储结构上的一种编程模型。 在当前的并行计算系统中，OpenMP和OpenMPI都是需要的 (从上面的各自概念可以看出)，OpenMP用于本地的并行计算 (共享内存内存架构)，支持目前所有平台上的程序共享内存 式并行计算，它相当于是给出了一个让并行编程更加容易实 现的模型，而OpenMPI则是用于机器之间的通信(分布式内存 架构) 。 从系统架构来看，目前的商用服务器大体可以分为三类， 即对对称称多多处处理理器器结结构构SMP (Symmetr cMult -Processor) ，非非一一 致致存存储储访访问问结结构构 NUMA(Non-Un form MemoryAccess) ，以 及海海量量并并行行处处理理结结构构MPP(Mass ve ParallelProcess ng) 。 它们的特征分别是共享存储型多处理机有两种模型，即均均匀匀 存存储储器器存存取取(Un form-Memory-Access，简称UMA)模型和非非均均 匀匀存存储储器器存存取取(Nonun form-Memory-Access，简称NUMA)模 型。而COMA和和ccNUMA都都是是NUMA结结构构的改进。 第2页 讯息传递接口标准 （MPI）是一个基于MPI论坛一致意见的 讯息传递库标准，该MPI论坛有超过40个组织参与，包括供 应商 （译 注：供应商亦可译为厂商，但供应商一词更好地 描述了其在开发链上的地位）、研究 、软件库开发 和使 用 。讯息传递接口的目标是为讯息传递建立一个轻便的、 有效且灵活的标准，并在将来广泛运用到讯息传递程序的撰 写当中。就其本身而言，MPI是第一个标准化的、独立于供 应商的讯息传递库。使用MPI开发讯息传递软件的好处就是 它匹配了轻便、有效和灵活的开发目标。 本文的目标是指导那些不熟悉MPI的人如何根据MPI的标准 开发和运行并行程序。基本的主题是展示对于新的MPI程序 员来说最常用的部分。文章以一个简单的背景以及基本信息 介绍来开始我们的MPI之旅。接着就具体地展示对于新的 MPI程序员来说最常用的MPI规则，包括MPI环境管理，点对 点通信规则和集体通信规则。这里会提供一些基于c和fortran 的例子，同时包括一个实验室练习。 本文的内容同时包括一些业界前沿的主题，例如派生数据类 型，组和通信器管理规则以及虚拟拓扑结构。但是这部分内 容更多是作为对该领域感兴趣的研究 的扩展阅读。 本文适合于刚开始使用MPI进行并行编程的研究 ，同时也 要求读 对c和fortran有一定程度的了解。 什什么么是是MPI 一一个个接接口口规规范范：： MPI＝Message Pass ng Interface 即讯息传递接口 MPI是讯息传递库的使用 和开发 的规范。准确来说， 它本身不是一个库－而是说明一个库应该是怎么样的规 范。 （译 注：即指导一个库的规范／标准） MPI主要针对讯息传递的并行编程模型：数据通过每一个 处理器的协同操作从一个处理器的地址空间转移到另外一 第3页 个处理器。 简单而言，讯息传递接口的目标在于为编写讯息传递程序 提供一个可广泛使用的标准。接口计划做到： 实用